Golang使用协程实现批量获取数据

目录
  • 使用channel
  • 使用WaitGroup
  • 应用到实践

服务端经常需要返回一个列表，里面包含很多用户数据，常规做法当然是遍历然后读缓存。

使用Go语言后，可以并发获取，极大提升效率。

使用channel

package main

import (
   "fmt"
   "time"
)

func add2(a, b int, ch chan int) {
   c := a + b
   fmt.Printf("%d + %d = %d\n", a, b, c)
   ch <- 1 //执行完了就写一条表示自己完成了
}

func main() {
   start := time.Now()
   chs := make([]chan int, 10)
   for i := 0; i < 10; i++ {
      chs[i] = make(chan int)
      go add2(1, i, chs[i]) //分配了10个协程出去了
   }
   for _, ch := range chs {
      <-ch //循环等待，要每个完成才能继续，不然就等待
   }
   end := time.Now()
   consume := end.Sub(start).Seconds()
   fmt.Println("程序执行耗时(s)：", consume)
}

在每个协程的 add() 函数业务逻辑完成后，我们通过 ch <- 1 语句向对应的通道中发送一个数据。

在所有的协程启动完成后，我们再通过 <-ch 语句从通道切片 chs 中依次接收数据（不对结果做任何处理，相当于写入通道的数据只是个标识而已，表示这个通道所属的协程逻辑执行完毕）.

直到所有通道数据接收完毕，然后打印主程序耗时并退出。

使用WaitGroup

  • Add：WaitGroup 类型有一个计数器，默认值是0，我们可以通过 Add 方法来增加这个计数器的值，通常我们可以通过个方法来标记需要等待的子协程数量；
  • Done：当某个子协程执行完毕后，可以通过 Done 方法标记已完成，该方法会将所属 WaitGroup 类型实例计数器值减一，通常可以通过 defer 语句来调用它；
  • Wait：Wait 方法的作用是阻塞当前协程，直到对应 WaitGroup 类型实例的计数器值归零，如果在该方法被调用的时候，对应计数器的值已经是 0，那么它将不会做任何事情
package main

import (
   "fmt"
   "sync"
)

func addNum(a, b int, deferFunc func()) {
   defer func() {
      deferFunc()
   }()
   c := a + b
   fmt.Printf("%d + %d = %d\n", a, b, c)
}

func main() {
   var wg sync.WaitGroup
   wg.Add(10) //等于发了10个令牌
   for i := 0; i < 10; i++ {
      go addNum(i, 1, wg.Done) //每次执行都消耗令牌
   }
   wg.Wait() //等待令牌消耗完
}

需要注意的是，该类型计数器不能小于0，否则会抛出如下 panic：

panic: sync: negative WaitGroup counter

应用到实践

func GetManyBase(userIds []int64) []UserBase {
   userCaches := make([]UserBase, len(userIds))

   var wg sync.WaitGroup
   for index, userId := range userIds {
      wg.Add(1)
      go func(index int, userId int64, userCaches []UserBase) {
         userCaches[index] = NewUserCache(userId).GetBase()
         wg.Done()
      }(index, userId, userCaches)
   }
   wg.Wait()

   return userCaches
}

这种写法有两个问题：

1.并发肯定带来乱序，所以要考虑需要排序的业务场景。

2.map是线程不安全的，并发读写会panic。

优化一下：

func GetManyBase(userIds []int64) []UserBase {
	userCaches := make([]UserBase, len(userIds))

	var scene sync.Map

	var wg sync.WaitGroup
	for index, userId := range userIds {
		wg.Add(1)
		go func(index int, userId int64, userCaches []UserBase) {
			scene.Store(userId, NewUserCache(userId).GetBase())
			wg.Done()
		}(index, userId, userCaches)
	}
	wg.Wait()

	i := 0
	for _, userId := range userIds {
		if value, ok := scene.Load(userId); ok {
			userCaches[i] = value.(UserBase)
		}
		i++
	}

	return userCaches
}

为什么不直接上锁？

  • 因为经过我的测试，会很慢，没有sync.Map优化的好。
  • 这样可以保证顺序。

到此这篇关于Golang使用协程实现批量获取数据的文章就介绍到这了,更多相关Golang协程批量获取数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Go简单实现协程方法

    目录 为什么需要协程 协程的本质 协程如何在线程中执行 GMP调度模型 协程并发 为什么需要协程 协程的本质是将一段数据的运行状态进行打包,可以在线程之间调度,所以协程就是在单线程的环境下实现的应用程序级别的并发,就是把本来由操作系统控制的切换+保存状态在应用程序里面实现了. 所以我们需要协程的目的其实就是它更加节省资源.可以在有限的资源内支持更高的并发,体现在以下三个方面: 资源利用:程可以利用任何的线程去运行,不需要等待CPU的调度. 快速调度:协程可以快速地调度(避开了系统调用和切换),快

  • Golang控制协程执行顺序方法详解

    目录 循环控制 通道控制 互斥锁 async.Mutex 在 Go 里面的协程执行实际上默认是没有严格的先后顺序的.由于 Go 语言 GPM 模型的设计理念,真正执行实际工作的实际上是 GPM 中的 M(machine) 执行器,而我们的协程任务 G(goroutine) 协程需要被 P(produce) 关联到某个 M 上才能被执行.而每一个 P 都有一个私有队列,除此之外所有的 P 还共用一个公共队列.因此当我们创建了一个协程之后,并不是立即执行,而是进入队列等待被分配,且不同队列之间没有顺

  • Golang控制通道实现协程等待详解

    目录 前言 方法一-睡眠等待 方法二-通道 什么是通道 通道的特性 什么是非缓冲通道 什么是缓冲通道 通道的简单使用 非缓冲通道 缓冲通道 小心死锁 使用通道实现协程等待 前言 上一次简单了解了协程的工作原理 前文链接 最后提到了几个使用协程时会遇到的问题,其中一个就是主线程不会等待子线程结束,在这里记录两种比较简单的方法,并借此熟悉下通道的概念. 方法一-睡眠等待 简单暴力的解决方案,在创建了子协程之后,主协程等待一段时间再结束. func goroutineTest(i int) { fmt

  • Go 并发编程协程及调度机制详情

    目录 协程的概念 goroutine 的诞生 使用 goroutine 加快速度 goroutine 的机制原理 前言: 协程(coroutine)是 Go 语言最大的特色之一,goroutine 的实现其实是通过协程. 协程的概念 协程一词最早出现在 1963 年发表的论文中,该论文的作者为美国计算机科学家 Melvin E.Conway.著名的康威定律:“设计系统的架构受制于产生这些设计的组织的沟通结构.” 也是这个作者. 协程是一种用户态的轻量级线程,可以想成一个线程里面可以有多个协程,而

  • Go简单实现协程池的实现示例

    Go简单实现协程池的实现示例

    目录 MPG模型 通道的特性 首先就是进程.线程.协程讲解老三样. 进程: 本质上是一个独立执行的程序,进程是操作系统进行资源分配和调度的基本概念,操作系统进行资源分配和调度的一个独立单位. 线程: 是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一个进程中可以并发多个线程,每条线程执行不同的任务,切换受系统控制. 协程:  又称为微线程,是一种用户态的轻量级线程,协程不像线程和进程需要进行系统内核上的上下文切换,协程的上下文切换是由用户自己决定的,有自己的上下

  • Go语言协程处理数据有哪些问题

    目录 前言 一.Goroutine 二.sync.WaitGroup 三.数据排序 四.限制协程数 五.协程Panic处理 总结 前言 我们在开发后台项目常常会遇到一个情况,功能模块列表数据导出Excel功能,但列表中某个字段无法通过Sql联表查询,且一次性查询再匹对也不方便:此时对列表数据循环,再一个个查询结果加入列表,势必需要很长的时间,我们该怎么才能提升下载速度呢? (这里采用Go开发服务端) 一.Goroutine 当然第一个想到可能是采用协程处理循环里面要查询的数据 type Card

  • Golang使用协程实现批量获取数据

    目录 使用channel 使用WaitGroup 应用到实践 服务端经常需要返回一个列表,里面包含很多用户数据,常规做法当然是遍历然后读缓存. 使用Go语言后,可以并发获取,极大提升效率. 使用channel package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := a + b fmt.Printf("%d + %d = %d\n", a, b, c)

  • Go使用协程批量获取数据加快接口返回速度

    目录 使用channel 使用WaitGroup 应用到实践 推荐go学习书籍,点击链接跳转京东官方商城购买. 服务端经常需要返回一个列表,里面包含很多用户数据,常规做法当然是遍历然后读缓存. 使用Go语言后,可以并发获取,极大提升效率. 使用channel Copy Highlighter-hljs package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := a + b

  • Golang 之协程的用法讲解

    一.Golang 线程和协程的区别 备注:需要区分进程.线程(内核级线程).协程(用户级线程)三个概念. 进程.线程 和 协程 之间概念的区别 对于 进程.线程,都是有内核进行调度,有 CPU 时间片的概念,进行 抢占式调度(有多种调度算法) 对于 协程(用户级线程),这是对内核透明的,也就是系统并不知道有协程的存在,是完全由用户自己的程序进行调度的,因为是由用户程序自己控制,那么就很难像抢占式调度那样做到强制的 CPU 控制权切换到其他进程/线程,通常只能进行 协作式调度,需要协程自己主动把控

  • golang的协程上下文的具体使用

    go协程上下文context golang的context 主要用来在 goroutine 之间传递上下文信息,包括:取消信号.超时时间.截止时间.k-v 等 context是golang1.17版本之后才出的特性 上下文解决的问题 协程间的通信 例如web应用中,每一个请求都由一个协程去处理.当然处理处理请求的这个协程,一般我们还会起一些其他的协程,用来处理其他的业务,比如操作数据库,生份验证.文件读写等.这些协程是独立的,我们在当前的协程中无法感知到其他的协程执行的情况怎么样了.实用通道ch

  • golang实现多协程下载文件(支持断点续传)

    引言 写这篇文章主要是周末休息太无聊,看了看别人代码,发现基本上要么是多协程下载文件要么就只有单协程的断点续传,所以就试了试有进度条的多协程下载文件(支持断点续传) package main import ( "fmt" "io" "os" "regexp" "strconv" "sync" "github.com/qianlnk/pgbar" ) /** * 需求:

  • golang协程设计及调度原理

    golang协程设计及调度原理

    目录 一.协程设计-GMP模型 1.工作线程M 2.逻辑处理器p 3.协程g 4.全局调度信息schedt 5.GMP详细示图 二.协程调度 1.调度策略 获取本地运行队列 获取全局运行队列 协程窃取 2.调度时机 主动调度 被动调度 抢占调度 一.协程设计-GMP模型 线程是操作系统调度到CPU中执行的基本单位,多线程总是交替式地抢占CPU的时间片,线程在上下文的切换过程中需要经过操作系统用户态与内核态的切换.golang的协程(G)依然运行在工作线程(M)之上,但是借助语言的调度器,协程只需

  • Golang协程常见面试题小结

    目录 交替打印奇数和偶数 方法一:使用无缓冲的channel进行协程间通信 方法二:使用有缓冲的channel N个协程打印1到maxVal 交替打印字符和数字 交替打印字符串 方法一使用无缓冲的channel 三个协程打印ABC Channel练习 交替打印奇数和偶数 下面让我们一起来看看golang当中常见的算法面试题使用两个goroutine交替打印1-100之间的奇数和偶数, 输出时按照从小到大输出. 方法一:使用无缓冲的channel进行协程间通信 package main impor

  • golang 40行代码实现通用协程池

    代码仓库 goroutine-pool golang的协程管理 golang协程机制很方便的解决了并发编程的问题,但是协程并不是没有开销的,所以也需要适当限制一下数量. 不使用协程池的代码(示例代码使用chan实现,代码略啰嗦) func (p *converter) upload(bytes [][]byte) ([]string, error) { ch := make(chan struct{}, 4) wg := &sync.WaitGroup{} wg.Add(len(bytes))

  • Python协程的用法和例子详解

    Python协程的用法和例子详解

    从句法上看,协程与生成器类似,都是定义体中包含 yield 关键字的函数.可是,在协程中, yield 通常出现在表达式的右边(例如, datum = yield),可以产出值,也可以不产出 -- 如果 yield 关键字后面没有表达式,那么生成器产出 None. 协程可能会从调用方接收数据,不过调用方把数据提供给协程使用的是 .send(datum) 方法,而不是next(-) 函数. ==yield 关键字甚至还可以不接收或传出数据.不管数据如何流动, yield 都是一种流程控制工具,使用

随机推荐