一文带你深入探究Go语言中的sync.Map

目录
  • 1. Map 的基本实现原理
  • 2. sync.Map 的实现原理
    • 2.1 sync.Map 的结构体定义
    • 2.2 sync.Map 的读取实现
    • 2.3 sync.Map 的写入实现
    • 2.4 sync.Map 的删除实现
    • 2.5 sync.Map 的遍历实现

在 Go 语言中,有一个非常实用的并发安全的 Map 实现:sync.Map,它是在 Go 1.9 版本中引入的。相比于标准库中的 map,它的最大特点就是可以在并发情况下安全地读写,而不需要加锁。在这篇博客中,我们将深入探讨 sync.Map 的基本原理,帮助读者更好地理解并使用这个并发安全的 Map。

1. Map 的基本实现原理

在介绍 sync.Map 的基本实现原理之前,我们需要先了解一下 Go 语言标准库中的 map 实现原理。在 Go 中,map 是基于哈希表实现的。当我们向 map 中添加元素时,它会根据 key 计算出一个哈希值,然后将这个值映射到一个桶中。如果该桶中已经有了元素,它会遍历桶中的元素,查找是否已经存在相同的 key,如果存在就更新对应的值,否则就添加一个新的键值对。

下面是一个简单的 map 示例:

m := make(map[string]int)
m["a"] = 1
m["b"] = 2
fmt.Println(m["a"]) // Output: 1

当我们运行这段代码时,Go 语言会自动帮我们分配一个哈希表和若干个桶,然后将键值对添加到对应的桶中。这样,当我们需要访问某个 key 对应的值时,Go 语言会根据哈希值快速定位到对应的桶,然后遍历桶中的元素,查找是否有相同的 key,如果找到了就返回对应的值。

2. sync.Map 的实现原理

sync.Map 是 Go 语言标准库中的一个并发安全的 Map 实现,它可以在并发情况下安全地读写,而不需要加锁。那么,它是如何实现这种并发安全性的呢?下面我们就来一步步地解析 sync.Map 的实现原理。

2.1 sync.Map 的结构体定义

首先,让我们来看一下 sync.Map 的结构体定义:

type Map struct {
    mu      sync.Mutex
    read    atomic.Value // readOnly
    dirty   map[interface{}]interface{}
    misses  int
    dirtyLocked uintptr
}

从上面的代码中可以看出,sync.Map 的实现主要是依赖于一个互斥锁(sync.Mutex)和两个 map(read 和 dirty)。其中,read 和 dirty 的作用分别是什么呢?我们先来看一下 read 的定义:

type readOnly struct {
    m       map[interface{}]interface{}
    amended bool
}

可以看到,read 只有一个成员 m,它是一个 map 类型。而 amended 则表示 read 中的键值对是否被修改过。接下来,我们来看一下 dirty 的定义:

type dirty struct {
    m       map[interface{}]interface{}
    dirty   map[interface{}]bool
    misses  int
}

和 read 不同的是,dirty 中包含了两个 map:m 和 dirty。其中,m 存储了被修改过的键值对,而 dirty 则存储了哪些键值对被修改过。

2.2 sync.Map 的读取实现

在 sync.Map 中,读取操作非常简单,直接从 readOnly 中的 m 中查找即可。如果 readOnly 中的键值对被修改过,则需要从 dirty 中查找。读取操作的实现代码如下:

func (m *Map) Load(key interface{}) (value interface{}, ok bool) {
    read, _ := m.read.Load().(readOnly)
    value, ok = read.m[key]
    if !ok && read.amended {
        m.mu.Lock()
        read, _ = m.read.Load().(readOnly)
        value, ok = read.m[key]
        if !ok && read.amended {
            value, ok = read.m[key]
        }
        m.mu.Unlock()
    }
    return
}

在这段代码中,我们首先从 readOnly 中的 m 中查找键值对。如果键值对不存在且 readOnly 中的键值对被修改过,则需要获取互斥锁,并重新从 readOnly 中查找。如果还是没有找到,那么就从 dirty 中查找。

2.3 sync.Map 的写入实现

在 sync.Map 中,写入操作需要分两步完成。首先,我们需要判断 readOnly 中的键值对是否被修改过,如果没有被修改过,则直接将键值对添加到 readOnly 中的 m 中即可。否则,我们需要获取互斥锁,然后将键值对添加到 dirty 中的 m 中,并将对应的键添加到 dirty 中的 dirty 中。写入操作的实现代码如下:

func (m *Map) Store(key, value interface{}) {
    read, _ := m.read.Load().(readOnly)
    if v, ok := read.m[key]; !ok && !read.amended {
        m.mu.Lock()
        read, _ = m.read.Load().(readOnly)
        if v, ok := read.m[key]; !ok {
            read = readOnly{m: read.m, amended: true}
        }
        read.m[key] = value
        m.read.Store(read)
        m.mu.Unlock()
    } else {
        m.mu.Lock()
        dirty := m.dirtyLocked != 0
        if !dirty {
            m.dirtyLocked = 1
            m.dirty = make(map[interface{}]interface{})
        }
        m.dirty[key] = value
        if !ok {
            m.dirty[key] = value
            m.dirty[key] = true
        }
        if dirty {
            m.mu.Unlock()
            return
        }
        m.read.Store(readOnly{m: read.m, amended: true})
        m.mu.Unlock()
    }
}

在这段代码中,我们首先从 readOnly 中的 m 中查找键值对。如果键值对不存在且 readOnly 中的键值对没有被修改过,则需要获取互斥锁,并重新从 readOnly 中查找。如果还是没有找到,则将键值对添加到 readOnly 中的 m 中,并将 amended 设置为 true。否则,我们需要获取互斥锁,并将键值对添加到 dirty 中的 m 中,并将对应的键添加到 dirty 中的 dirty 中。如果 dirty 中已经存在该键,则只需要更新 dirty 中的键值即可。如果 dirty 中没有该键,则需要在 dirty 中添加该键,并将该键的 dirty 置为 true。

接下来,我们需要判断 dirty 是否被锁定。如果 dirty 被锁定,则直接退出函数。否则,我们需要将 readOnly 中的 amended 设置为 true,并将 readOnly 存储回 read 中。

2.4 sync.Map 的删除实现

在 sync.Map 中,删除操作也需要分两步完成。首先,我们需要判断 readOnly 中的键值对是否被修改过,如果没有被修改过,则直接从 readOnly 中的 m 中删除键值对即可。否则,我们需要获取互斥锁,然后将键添加到 dirty 中的 dirty 中,并将 dirty 中的对应键的值设置为 false。删除操作的实现代码如下:

func (m *Map) Delete(key interface{}) {
    read, _ := m.read.Load().(readOnly)
    if _, ok := read.m[key]; ok || read.amended {
        m.mu.Lock()
        read, _ = m.read.Load().(readOnly)
        if _, ok := read.m[key]; ok || read.amended {
            if m.dirty == nil {
                m.dirty = make(map[interface{}]interface{})
            }
            m.dirty[key] = false
            m.dirty[key] = true
            m.read.Store(readOnly{m: read.m, amended: true})
        }
        m.mu.Unlock()
    }
}

在这段代码中,我们首先从 readOnly 中的 m 中查找键值对。如果键值对存在或者 readOnly 中的键值对被修改过,则需要获取互斥锁,并重新从 readOnly 中查找。如果还是没有找到,则将键添加到 dirty 中的 dirty 中,并将 dirty 中的对应键的值设置为 false。接下来,我们需要判断 dirty 是否为 nil,如果为 nil,则需要将 dirty 初始化为一个空 map。然后,我们将键添加到 dirty 中,并将 dirty 中的对应键的值设置为 true。最后,我们将 readOnly 中的 amended 设置为 true,并将 readOnly 存储回 read 中。

2.5 sync.Map 的遍历实现

在 sync.Map 中,遍历操作需要将 readOnly 和 dirty 中的所有键值对进行合并,并返回所有未被删除的键值对。遍历操作的实现代码如下:

func (m *Map) Range(f func(key, value interface{}) bool) {
    read, _ := m.read.Load().(readOnly)
    if read.amended {
        m.mu.Lock()
        read, _ = m.read.Load().(readOnly)
        if read.amended {
            read = readOnly{
                m: merge(read.m, m.dirty),
            }
            read.amended = false
            m.read.Store(read)
            m.dirty = nil
        }
        m.mu.Unlock()
    }
    for k, v := range read.m {
        if !f(k, v) {
            break
        }
    }
}
​
func merge(m1, m2 map[interface{}]interface{}) map[interface{}]interface{} {
    if len(m1) == 0 && len(m2) == 0 {
        return nil
    }
    if len(m1) == 0 {
        return m2
    }
    if len(m2) == 0 {
        return m1
    }
    m := make(map[interface{}]interface{})
    for k, v := range m1 {
        m[k] = v
    }
    for k, v := range m2 {
        if _, ok := m[k]; !ok || !v.(bool) {
            m[k] = v
        }
    }
    return m
}

在这段代码中,我们首先从 readOnly 中获取所有的键值对,并检查是否有键值对被修改过。如果键值对被修改过,则需要获取互斥锁,并将 readOnly 和 dirty 中的键值对合并,然后将合并后的键值对存储回 readOnly 中,并将 dirty 设置为 nil。接下来,我们遍历 readOnly 中的所有键值对,并调用 f 函数来处理键值对。如果 f 函数返回 false,则遍历过程结束。

在这个 Range 函数中,我们还实现了一个名为 merge 的辅助函数,用于合并两个 map。在合并过程中,我们首先判断两个 map 是否为空,如果为空,则直接返回 nil。如果其中一个 map 为空,则返回另一个 map。否则,我们需要将 m1 中的键值对全部添加到新的 map 中,并逐个遍历 m2 中的键值对。如果 m2 中的键不存在于新的 map 中,或者 m2 中的键被删除,则将其添加到新的 map 中。

以上就是一文带你深入探究Go语言中的sync.Map的详细内容,更多关于Go语言sync.Map的资料请关注我们其它相关文章!

(0)

相关推荐

  • Go 并发读写 sync.map 详细

    目录 1.sync.Map 优势 2.性能测试 2.1 压测结果 1)写入 2)查找 3)删除 2.3 场景分析 3.sync.Map 剖析 3.1 数据结构 3.2 查找过程 3.3 写入过程 3.4 删除过程 map 的两种目前在业界使用的最多的并发支持的模式分别是: 原生 map + 互斥锁或读写锁 mutex. 标准库 sync.Map(Go1.9及以后). 有了选择,总是有选择困难症的,这两种到底怎么选,谁的性能更加的好?我有一个朋友说 标准库 sync.Map 性能菜的很,不要用.我

  • Golang sync.Map原理深入分析讲解

    目录 GO语言内置的map sync.Map sync.Map原理分析 sync.Map的结构 查找 新增和更新 删除 GO语言内置的map go语言内置一个map数据结构,使用起来非常方便,但是它仅支持并发的读,不支持并发的写,比如下面的代码: 在main函数中开启两个协程同时对m进行并发读和并发写,程序运行之后会报错: package main func main() { m := make(map[int]int) go func() { for { _ = m[1] } }() go f

  • 深度解密 Go 语言中的 sync.map

    工作中,经常会碰到并发读写 map 而造成 panic 的情况,为什么在并发读写的时候,会 panic 呢?因为在并发读写的情况下,map 里的数据会被写乱,之后就是 Garbage in, garbage out,还不如直接 panic 了. 是什么 Go 语言原生 map 并不是线程安全的,对它进行并发读写操作的时候,需要加锁.而 sync.map 则是一种并发安全的 map,在 Go 1.9 引入. sync.map 是线程安全的,读取,插入,删除也都保持着常数级的时间复杂度. sync.

  • Go使用sync.Map来解决map的并发操作问题

    目录 前言 map 并发操作出现问题 sync.Map 解决并发操作问题 计算 map 长度 计算 sync.Map 长度 前言 在 Golang 中 map 不是并发安全的,自 1.9 才引入了 sync.Map ,sync.Map 的引入确实解决了 map 的并发安全问题,不过 sync.Map 却没有实现 len() 函数,如果想要计算 sync.Map 的长度,稍微有点麻烦,需要使用 Range 函数. map 并发操作出现问题 func main() { demo := make(ma

  • golang中sync.Map并发创建、读取问题实战记录

    背景: 我们有一个用go做的项目,其中用到了zmq4进行通信,一个简单的rpc过程,早期远端是使用一个map去做ip和具体socket的映射. 问题 大概是这样 struct SocketMap { sync.Mutex sockets map[string]*zmq4.Socket } 然后调用的时候的代码大概就是这样的: func (pushList *SocketMap) push(ip string, data []byte) { pushList.Lock() defer pushLi

  • golang中使用sync.Map的方法

    背景 go中map数据结构不是线程安全的,即多个goroutine同时操作一个map,则会报错,因此go1.9之后诞生了sync.Map sync.Map思路来自java的ConcurrentHashMap 接口 sync.map就是1.9版本带的线程安全map,主要有如下几种方法: Load(key interface{}) (value interface{}, ok bool) //通过提供一个键key,查找对应的值value,如果不存在,则返回nil.ok的结果表示是否在map中找到值

  • 一文带你深入探究Go语言中的sync.Map

    目录 1. Map 的基本实现原理 2. sync.Map 的实现原理 2.1 sync.Map 的结构体定义 2.2 sync.Map 的读取实现 2.3 sync.Map 的写入实现 2.4 sync.Map 的删除实现 2.5 sync.Map 的遍历实现 在 Go 语言中,有一个非常实用的并发安全的 Map 实现:sync.Map,它是在 Go 1.9 版本中引入的.相比于标准库中的 map,它的最大特点就是可以在并发情况下安全地读写,而不需要加锁.在这篇博客中,我们将深入探讨 sync

  • 一文带你深入理解Go语言中的sync.Cond

    目录 sync.Cond 是什么 适用场景 sync.Cond 的基本用法 NewCond 创建实例 Wait 等待条件满足 Signal 通知一个等待的 goroutine Broadcast 通知所有等待的 goroutine sync.Cond 使用实例 为什么要用 sync.Cond close channel 广播实例 sync.Cond 基本原理 sync.Cond 的设计与实现 sync.Cond 模型 notifyList 结构体 sync.Cond 的方法 Wait 方法 Si

  • 一文带你学会C语言中的qsort函数

    目录 铺垫知识 使用qsort函数进行整型数组的排序 使用qsort函数进行浮点型数组的排序 使用qsort函数进行结构体数组的排序 铺垫知识 qsort函数 参数类型 void qsort (void* base, size_t num, size_t size,int (*compar)(const void*,const void*)); 参数类型解释 参数1 待排序数组首元素的地址 参数2 数组内元素个数 参数3 数组内每个元素大小,单位是字节 参数4 函数指针,由自己实现,内容是两个元

  • 一文带你了解 C# DLR 的世界(DLR 探秘)

    在很久之前,我写了一片文章详解C# 匿名对象(匿名类型).var.动态类型 dynamic,可以借鉴.因为那时候是心中想当然的认为只有反射能够在运行时解析对象的成员信息并调用成员方法.后来也是因为其他的事一直都没有回过头来把这一节知识给补上,正所谓亡羊补牢,让我们现在来大致了解一下DLR吧. DLR 全称是 Dynamic Language Runtime(动态语言运行时).这很容易让我们想到同在C#中还有一个叫 CLR 的东西,它叫 Common Language Runtime.那这两者有什

  • 做java这么久了居然还不知道JSON的使用(一文带你了解)

    JSON(JavaScript Object Notation, NS对象标记)是一种轻量级的数据交换格式,目前使用特别广泛. 采用完全独立于编程语言的 文本格式 来存储和表示数据. 简洁和清晰的层次结构使得JSON成为理想的数据交换语言. 易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率. 在JavaScript语言中,一切都是对象.因此,任何JavaScript 支持的类型都可以通过JSON来表示,例如字符串.数字.对象.数组等.看看他的要求和语法格式: 对象表示为键值对

  • 一文带你掌握Java8中Lambda表达式 函数式接口及方法构造器数组的引用

    目录 函数式接口概述 函数式接口示例 1.Runnable接口 2.自定义函数式接口 3.作为参数传递 Lambda 表达式 内置函数式接口 Lambda简述 Lambda语法 方法引用 构造器引用 数组引用 函数式接口概述 只包含一个抽象方法的接口,称为函数式接口. 可以通过 Lambda 表达式来创建该接口的对象. 可以在一个接口上使用 @FunctionalInterface 注解,这样做可以检查它是否是一个函数式接口.同时 javadoc 也会包含一条声明,说明这个接口是一个函数式接口.

  • 一文带你搞懂Numpy中的深拷贝和浅拷贝

    目录 1. 引言 2. 浅拷贝 2.1 问题引入 2.2 问题剖析 3. 深拷贝 3.1 举个栗子 3.2 探究原因 4. 技巧总结 4.1 判断是否指向同一内存 4.2 其他数据类型 5. 总结 1. 引言 深拷贝和浅拷贝是Python中重要的概念,本文重点介绍在NumPy中深拷贝和浅拷贝相关操作的定义和背后的原理. 闲话少说,我们直接开始吧! 2. 浅拷贝 2.1 问题引入 我们来举个栗子,如下所示我们有两个数组a和b,样例代码如下: import numpy as np a = np.ar

  • 一文带你了解Go语言中的指针和结构体

    目录 前言 指针 指针的定义 获取和修改指针所指向变量的值 结构体 结构体定义 结构体的创建方式 小结 前言 前面的两篇文章对 Go 语言的基础语法和基本数据类型以及几个复合数据类型进行介绍,本文将对 Go 里面的指针和结构体进行介绍,也为后续文章做铺垫. 指针 在 Go 语言中,指针可以简单理解是一个地址,指针类型是依托于某一个类型而存在的,例如 Go 里面的基本数据类型 int.float64.string 等,它们所对应的指针类型为 *int.*float64.*string等. 指针的定

  • 一文带你了解Go语言中接口的使用

    目录 接口 接口的实现 接口类型变量 空接口 类型断言 类型断言变种 type switch 小结 接口 在 Go 语言中,接口是一种抽象的类型,是一组方法的集合.接口存在的目的是定义规范,而规范的细节由其他对象去实现.我们来看一个例子: import "fmt" type Person struct { Name string } func main() { person := Person{Name: "cmy"} fmt.Println(person) //

  • 一文带你熟悉Go语言中函数的使用

    目录 函数 函数的声明 Go 函数支持变长参数 匿名函数 闭包 init 函数 函数参数详解 形式参数与实际参数 值传递 函数是一种数据类型 小结 函数 函数的英文单词是 Function,这个单词还有着功能的意思.在 Go 语言中,函数是实现某一特定功能的代码块.函数代表着某个功能,可以在同一个地方多次使用,也可以在不同地方使用.因此使用函数,可以提高代码的复用性,减少代码的冗余. 函数的声明 通过案例了解函数的声明有哪几部分: 定义一个函数,实现两个数相加的功能,并将相加之后的结果返回. f

随机推荐