golang gin 框架 异步同步 goroutine 并发操作

goroutine机制可以方便地实现异步处理

package main
import (
 "log"
 "time"
 "github.com/gin-gonic/gin"
)
func main() {
 // 1.创建路由
 // 默认使用了2个中间件Logger(), Recovery()
 r := gin.Default()
 // 1.异步
 r.GET("/long_async", func(c *gin.Context) {
  // 需要搞一个副本
  copyContext := c.Copy()
  // 异步处理
  go func() {
   time.Sleep(3 * time.Second)
   log.Println("异步执行:" + copyContext.Request.URL.Path)
  }()
 })
 // 2.同步
 r.GET("/long_sync", func(c *gin.Context) {
  time.Sleep(3 * time.Second)
  log.Println("同步执行:" + c.Request.URL.Path)
 })
 r.Run(":8000")
}

补充:Golang的channel使用以及并发同步技巧

在学习《The Go Programming Language》第八章并发单元的时候还是遭遇了不少问题,和值得总结思考和记录的地方。

做一个类似于unix du命令的工具。但是阉割了一些功能,这里应该只实现-c(统计total大小) 和-h(以human比较容易辨识的显示出来)的功能。

首先我们需要构造一个 能够返回FileInfo信息数组的函数,我们把它取名为dirEntries:

func dirEntries(dir string) []os.FileInfo {
 entries, err := ioutil.ReadDir(dir)
 if err != nil {
  fmt.Fprintf(os.Stderr, "du: %v\n", err)
  return nil
 }
 return entries
}

传入一个路径字符串,然后使用ioutil.ReadDir解析这个路径下面的所有文件以及文件夹生成一个FileInfo的profile。

Fileinfo interface下面包含了:

type FileInfo interface {
 Name() string  // base name of the file
 Size() int64  // length in bytes for regular files; system-dependent for others
 Mode() FileMode  // file mode bits
 ModTime() time.Time // modification time
 IsDir() bool  // abbreviation for Mode().IsDir()
 Sys() interface{} // underlying data source (can return nil)
}

多种方法,可以直接调用,其作用就是后面注释写的一样。

有了能够获取文件夹下面文件和文件夹的函数之后,我们需要一个调用方用来walk指定的目录:

// 入参是一个文件目录,一个INT64的只接收的单向channel
func walkDir(dir string, fileSizes chan<- int64) {
 for _, entry := range dirEntries(dir) {
  if entry.IsDir() {
   subdir := filepath.Join(dir, entry.Name())
   walkDir(subdir, fileSizes)
  } else {
   fileSizes <- entry.Size()
  }
 }
}

这里我们定义一个目录,然后需求传入一个单向接收channel用于在多goroutine中计算总共的文件大小。

使用range方法来遍历我们上面写的dirEntries的返回文件或文件夹,如果是文件夹则继续迭代。

如果不是则将文件大小存入放入fileSizes channel中。

搞定上面两个函数,我们来写主函数部分:

func main() {
 root := ""
 flag.StringVar(&root, "-p", ".", "input dir.")
 flag.Parse()
 fileSizes := make(chan int64)
 // 起一个goroutine去walk目录
 go func() {
  walkDir(root, fileSizes)
  // Walk完毕之后要关闭该channel下面使用range读取数据的时候才会有尽头
  close(fileSizes)
 }()
 var nfiles, nbytes int64
 for size := range fileSizes {
  nfiles++
  nbytes += size
 }
 fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
}

这里注意一点,因为起goroutine的walk函数,和下面同时在range遍历是在同步进行,如果下面range速度太快读到管道里面没有值了会阻塞住等待有数据继续进来之后读取,而不是会跳出。只有当close(fileSizes)这句执行到,显示关闭掉channel之后,才会跳出range循环并且这时已经读取完了所有的数据。这里有点像,close channel的时候给range发送了一个停止信号一样,感觉这个利用起来会比较有用? 后续可能会再研究一下。

让我们继续来优化我们的程序,添加一个-v参数,打印出扫描文件的进度,当我们要扫描整个盘的时候,可能会花费大量的时间,我们需要知道进度如何了。

其实这个需求只需要很小的改动,让我们来重新改写一下main函数,用select多路复用来完成这个事情。

func main() {
 root := ""
 verbose := false
 tick := make(<-chan time.Time)
 var nfiles, nbytes int64
 flag.StringVar(&root, "p", ".", "input dir.")
 flag.BoolVar(&verbose, "v", false, "add verbose if you want")
 flag.Parse()
 if verbose {
  tick = time.Tick(500 * time.Millisecond)
 }
 fileSizes := make(chan int64)
 // 起一个goroutine去walk目录
 go func() {
  walkDir(root, fileSizes)
  // Walk完毕之后要关闭该channel下面使用range读取数据的时候才会有尽头
  close(fileSizes)
 }()
loop:
 for {
  select {
  case size, ok := <-fileSizes:
   if !ok {
    break loop
   }
   nfiles++
   nbytes += size
  case <-tick:
   fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
  }
 }
 fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
}

上面其实都差不多,这里我直接从loop那里开始说吧,遇到这个loop的时候我其实还蛮疑惑的,因为我在go语言保留关键字里面并没有看到他的身影,但是这里他的确是个关键字,和里面的break连用 里面break后面跟上的loop 可以直接跳出到最外层loop包裹的循环,而不是break默认的只跳出一层循环。明白了这个道理之后,这个就不难理解了,当我们还在遍历文件的时候,select 会持续读取文件大小赋值给size,并且返回true给ok。如果我们开启了verbose,每隔500毫秒tick会收到来自time.Tick的消息。我们都知道select会在都准备好的情况下随机pick一个执行,所以这里也或快或慢的被打印进度(前提是同时收到信号,但是实际上这个发生速度可能在nm级别,凭感受很难感觉到谁先)。当最后都执行完毕后filesSizes channel会被上面的携程函数close(),当close之后,在读取完剩余数据后,fileSizes会返回给ok nil。就可以跳出循环。

看到这里可能会觉得有点绕,所以要尽可能的多理解一下,当然我们可以让这个du程序更快。可以注意到我们并没有在walkdir里面开启goroutines进行并发处理。下面我将尝试开启goroutine处理它们,并且用channel给他们加个锁控制一下goroutine的数量,在此之前我们先来看看现在完成了的代码:

package main
import (
 "fmt"
 "io/ioutil"
 "os"
 "path/filepath"
 "flag"
 "time"
)
// 入参是一个文件目录,一个INT64的只接收的单向channel
func walkDir(dir string, fileSizes chan<- int64) {
 for _, entry := range dirEntries(dir) {
  if entry.IsDir() {
   subdir := filepath.Join(dir, entry.Name())
   walkDir(subdir, fileSizes)
  } else {
   fileSizes <- entry.Size()
  }
 }
}
func dirEntries(dir string) []os.FileInfo {
 entries, err := ioutil.ReadDir(dir)
 if err != nil {
  fmt.Fprintf(os.Stderr, "du: %v\n", err)
  return nil
 }
 return entries
}
func main() {
 t1 := time.Now()
 root := ""
 verbose := false
 tick := make(<-chan time.Time)
 var nfiles, nbytes int64
 flag.StringVar(&root, "p", ".", "input dir.")
 flag.BoolVar(&verbose, "v", false, "add verbose if you want")
 flag.Parse()
 if verbose {
  tick = time.Tick(500 * time.Millisecond)
 }
 fileSizes := make(chan int64)
 // 起一个goroutine去walk目录
 go func() {
  walkDir(root, fileSizes)
  // Walk完毕之后要关闭该channel下面使用range读取数据的时候才会有尽头
  close(fileSizes)
 }()
loop:
 for {
  select {
  case size, ok := <-fileSizes:
   if !ok {
    break loop
   }
   nfiles++
   nbytes += size
  case <-tick:
   fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
  }
 }
 fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
 fmt.Println(time.Since(t1))
}

观察上面代码可以看出我们并不能直接在这个代码的基础上直接给walkDir加上goroutine,这样会导致channel直接被关闭,然后啥也没跑就结束了。

我们需要让主goroutine等待其他goroutine都完成之后再结束,所以主goroutine需要在这里阻塞住,等到得到可以结束的信号之后再结束。

我们可以使用sync.WaitGroup 来对仍旧活跃的walkDir调用进行计数。等到数量为0的时候就算我们可以结束了。

sync.WaitGroup提供了三个方法:

  Add:添加或减少goroutine的数量。

  Done:相当于Add(-1)。

  Wait:阻塞住等待WaitGroup数量变成0.

明白这个道理之后我们改写了一下代码,让它使用sync.WaitGroup来支持同步,最后当所有goroutine都结束之后,关闭channel完成任务。

package main
import (
 "fmt"
 "io/ioutil"
 "os"
 "path/filepath"
 "flag"
 "time"
 "sync"
)
// 入参是一个文件目录,一个INT64的只接收的单向channel
func walkDir(dir string, fileSizes chan<- int64, n *sync.WaitGroup) {
 defer n.Done()
 for _, entry := range dirEntries(dir) {
  if entry.IsDir() {
   n.Add(1)
   subdir := filepath.Join(dir, entry.Name())
   go walkDir(subdir, fileSizes, n)
  } else {
   fileSizes <- entry.Size()
  }
 }
}
func dirEntries(dir string) []os.FileInfo {
 entries, err := ioutil.ReadDir(dir)
 if err != nil {
  fmt.Fprintf(os.Stderr, "du: %v\n", err)
  return nil
 }
 return entries
}
func main() {
 t1 := time.Now()
 root := ""
 verbose := false
 tick := make(<-chan time.Time)
 fileSizes := make(chan int64)
 var n sync.WaitGroup
 var nfiles, nbytes int64
 flag.StringVar(&root, "p", ".", "input dir.")
 flag.BoolVar(&verbose, "v", false, "add verbose if you want")
 flag.Parse()
 if verbose {
  tick = time.Tick(500 * time.Millisecond)
 }
 n.Add(1)
 go walkDir(root, fileSizes, &n)
 go func() {
  n.Wait()
  close(fileSizes)
 }()
loop:
 for {
  select {
  case size, ok := <-fileSizes:
   if !ok {
    break loop
   }
   nfiles++
   nbytes += size
  case <-tick:
   fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
  }
 }
 fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
 fmt.Println(time.Since(t1))
}

随便跑跑。。感觉快得飞起,然而跑不了几秒就会报错,这个程序最大的问题就是我们完全没有办法之后它会自己打开多少个goroutine,感觉会爆炸。所以我们要限制这种夸张的写法,使用channel来做一个并发协程池,把同时开启的goroutine的数量控制一下。

最后上一下完整代码,注意defer关键字,只接收函数,所以我会在释放锁的时候使用匿名函数:

package main
import (
 "fmt"
 "io/ioutil"
 "os"
 "path/filepath"
 "flag"
 "time"
 "sync"
)
var token = make(chan int, 100)
// 入参是一个文件目录,一个INT64的只接收的单向channel
func walkDir(dir string, fileSizes chan<- int64, n *sync.WaitGroup) {
 defer n.Done()
 for _, entry := range dirEntries(dir) {
  if entry.IsDir() {
   n.Add(1)
   subdir := filepath.Join(dir, entry.Name())
   go walkDir(subdir, fileSizes, n)
  } else {
   fileSizes <- entry.Size()
  }
 }
}
func dirEntries(dir string) []os.FileInfo {
 token <- 1
 defer func() {<-token}()
 entries, err := ioutil.ReadDir(dir)
 if err != nil {
  fmt.Fprintf(os.Stderr, "du: %v\n", err)
  return nil
 }
 return entries
}
func main() {
 var nfiles, nbytes int64
 var n sync.WaitGroup
 root := ""
 verbose := false
 t1 := time.Now()
 fileSizes := make(chan int64)
 tick := make(<-chan time.Time)
 flag.StringVar(&root, "p", ".", "input dir.")
 flag.BoolVar(&verbose, "v", false, "add verbose if you want")
 flag.Parse()
 if verbose {
  tick = time.Tick(500 * time.Millisecond)
 }
 n.Add(1)
 go walkDir(root, fileSizes, &n)
 go func() {
  n.Wait()
  close(fileSizes)
 }()
loop:
 for {
  select {
  case size, ok := <-fileSizes:
   if !ok {
    break loop
   }
   nfiles++
   nbytes += size
  case <-tick:
   fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
  }
 }
 fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
 fmt.Println(time.Since(t1))
}

Reference:

https://github.com/gopl-zh/gopl-zh.github.com The Go Programming Language

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • Golang的md5 hash计算操作

    Golang计算md5值的方法都是接收byte型slice([]byte).而且使用习惯上也觉得略奇怪. 看了好几个例子才看懂. 感觉Golang标准库在设计这些模块的时候,都会考虑使用带New关键字工厂生成一个该类型的结构体对象.然后再使用改对象的方法进行操作. md5包就是这样,来看例子: s := "api_key" + ApiKey + "param" + Param + "time" + time + "version&quo

  • Golang数组的传递详解

    概念介绍 数组与切片 数组是具有相同唯一类型的一组已编号且长度固定的数据项序列.数组长度最大为2Gb,它是值类型.切片是对数组一个连续片段的引用,所以切片是一个引用类型. 按值传递和按引用传递 Go语言中函数的参数有两种传递方式,按值传递和按引用传递.Go默认使用按值传递来传递参数,也就是传递参数的副本.在函数中对副本的值进行更改操作时,不会影响到原来的变量. 按引用传递其实也可以称作"按值传递",只不过该副本是一个地址的拷贝,通过它可以修改这个值所指向的地址上的值. Go语言中,在函

  • golang数组-----寻找数组中缺失的整数方法

    问题:由n-1个整数组成的未排序数组,元素都是1~n的不同整数,找出其中缺失的整数 方法一: 思路:是原数组的和 减去 丢失元素后的数组的和,就得到丢失的元素了 代码如下: package main import ( "errors" "fmt" ) func getMissingElement(arr []int) int { var sumA, sumB int if arr == nil || len(arr) <= 0 { errors.New(&qu

  • Golang中的参数传递示例详解

    前言 本文主要给大家介绍了关于Golang参数传递的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 关于参数传递,Golang文档中有这么一句: after they are evaluated, the parameters of the call are passed by value to the function and the called function begins execution. 函数调用参数均为值传递,不是指针传递或引用传递.经测试引申出来,

  • 浅谈Golang的方法传递值应该注意的地方

    其实最近看了不少Golang接口以及方法的阐述都有一个地方没说得特别明白.就是在Golang编译隐式转换传递给方法使用的时候,和调用函数时的区别. 我们都知道,在我们为一个类型变量申明了一个方法的时候,我们可以使用类似于self.method来调用这个方法,而且无论你申明的方法的接收器是指针接收器还是值接收器,Golang都可以帮你隐式转换为正确的值供方法使用. 让我们来看一个例子: package main import "fmt" type duration int func (d

  • golang gin 框架 异步同步 goroutine 并发操作

    goroutine机制可以方便地实现异步处理 package main import ( "log" "time" "github.com/gin-gonic/gin" ) func main() { // 1.创建路由 // 默认使用了2个中间件Logger(), Recovery() r := gin.Default() // 1.异步 r.GET("/long_async", func(c *gin.Context) {

  • Golang Gin框架实现文件下载功能的示例代码

    目录 Layui框架实现文件上传 Gin框架获取前端上传的文件 Gin框架的文件下载 Layui框架实现文件上传 基本的思路就是随便创建一个元素,然后使用layui的upload组件对创建的元素进行渲染,详见代码 <!DOCTYPE html> <html lang="en"> <head> <script src="jquery-3.5.0.min.js" type="text/javascript"&

  • golang gin框架实现大文件的流式上传功能

    目录 upload.html gin_stream_upload_file.go 一般来说,通过c.Request.FormFile()获取文件的时候,所有内容都全部读到了内存.如果是个巨大的文件,则可能内存会爆掉:且,有的时候我们需要一边上传一边处理.以下的代码实现了大文件流式上传.还非常不完美,但是可以作为参考: upload.html <!DOCTYPE html> <html lang="en"> <head> <meta charse

  • 解决golang gin框架跨域及注解的问题

    在golang的路上缓慢前进 Gin框架 跨域问题的解说与方法 代码如下: package main import ( "github.com/gin-gonic/gin" "awesomeProject/app/app_routers" "strings" "fmt" "net/http" ) /* 路由初始化*/ var ( engine = gin.Default() ) func main() {

  • golang gin框架获取参数的操作

    1.获取URL参数 GET请求参数通过URL传递 URL参数可以通过DefaultQuery()或Query()方法获取 DefaultQuery()若参数不存在,返回默认值,Query()若参数不存在,返回空串 user_id := com.StrTo(ctx.Query("user_id")).MustInt64() page := com.StrTo(ctx.DefaultQuery("page", "1")).MustInt() 2.获取

  • golang API开发过程的中的自动重启方式(基于gin框架)

    概要 基于 golang Gin 框架开发 web 服务时, 需要时不时的 go build , 然后重启服务查看运行结果. go build 的过程集成在编辑器中(emacs), 可以通过快捷键迅速完成, 但是每次重启服务都切换到命令行中操作. 因此, 希望能够编译通过之后自动重启服务. 这里并不是部署阶段的服务重启, 所以不用过多考虑是否正常退出其中的协程. 实现方式 在开源的 illuminant 项目中, 已经将相应的代码集成到 gin 的 debug mode 中. 代码文件: htt

  • Golang中Gin框架的使用入门教程

    目录 安装与简单测试 常见请求与分组请求 获取参数 与 参数合法性验证 获得query中参数 获得multipart/urlencoded form中的参数 模型绑定和参数验证 自定义参数验证 项目结构参考 Gin框架运行模式 Gin如何获取客户ip Gin处理请求结果 以String类型响应请求 以Json格式响应请求 以文件形式响应请求 设置http响应头 Gin处理html模板 Gin访问静态资源文件 Gin处理Cookie操作 Gin文件上传 Gin中间件 官方地址:gin-gonic.

  • golang中gin框架接入jwt使用token验证身份

    目录 jwt 流程: 1.这里使用开源的 jwt-go 1.token 工具类 2. 使用该中间件 3. controller部分代码 jwt jwt的原理和session有点相像,其目的是为了解决rest api中无状态性 因为rest接口,需要权限校验.但是又不能每个请求都把用户名密码传入,因此产生了这个token的方法 流程: 用户访问auth接口,获取token 服务器校验用户传入的用户名密码等信息,确认无误后,产生一个token.这个token其实是类似于map的数据结构(jwt数据结

  • golang gorm框架数据库的连接操作示例

    目录 1. 连接数据库 1.1 MySQL 1.2 PostgreSQL 1.3 Sqlite3 1.4 不支持的数据库 2. 迁移 2.1. 自动迁移 2.2. 检查表是否存在 2.3. 创建表 2.4. 删除表 2.5. 修改列 2.6. 删除列 2.7. 添加外键 2.8. 索引 1. 连接数据库 要连接到数据库首先要导入驱动程序.例如 import _ "github.com/go-sql-driver/mysql" 为了方便记住导入路径,GORM包装了一些驱动. import

  • Golang详细讲解常用Http库及Gin框架的应用

    目录 1. Http标准库 1.1 http客户端 1.2 自定义请求头 1.3 检查请求重定向 1.4 http服务器性能分析 2. JSON数据处理 2.1 实体序列化 2.2 处理字段为小写下划线 2.3 省略空字段 2.4 反序列化 3. 自然语言处理 3.1 使用Map处理 3.2 定义实体处理 4. http框架 4.1 gin 4.1.1 启动服务 4.1.2 middleware 4.1.3 设置请求ID 1. Http标准库 1.1 http客户端 func main() {

随机推荐