golang redis中Pipeline通道的使用详解

目录
  • 一、pipeline出现的背景
  • 二、pipeline的用法
    • pipeline命令的使用

goredis库连接客户端

package client
import (
    "github.com/go-redis/redis"
    "github.com/sirupsen/logrus"
)

var MainRDS *redis.Client
func init() {
    ConnectRedis()
}
func ConnectRedis() {
    MainRDS = redis.NewClient(&redis.Options{Addr: "127.0.0.1:6379", Password: "******"})
    err := MainRDS.Ping().Err()
    if err != nil {
        logrus.Infof("[ConnectRedis]connect redis error:%s", err.Error())
        panic("init client error")
    }
}

一、pipeline出现的背景

redis客户端执行一条命令分4个过程:

发送命令 -> 命令排队 -> 命令执行 -> 返回结果

这个过程称为Round trip time(简称RTT, 往返时间),mget、mset有效节约了RTT,但大部分命令不支持批量操作,需要消耗N次RTT ,这个时候需要pipeline来解决这个问题。

Pipeline 主要是一种网络优化,它本质上意味着客户端缓冲一堆命令并一次性将它们发送到服务器,减少了每条命令分别传输的IO开销, 同时减少了系统调用的次数,因此提升了整体的吞吐能力,节省了每个命令的网络往返时间(RTT)。

二、pipeline的用法

Pipeline 基本示例如下:

pipe := Redis.Pipeline()
pipe.Del(context.Background(), "test1")
pipe.Del(context.Background(), "test2")
ret, err := pipe.Exec(context.Background())
fmt.Println(ret, err)

上面的代码相当于将以下两个命令一次发给redis server端执行与不使用Pipeline相比能减少一次RTT。

del test1
del test2

pipeline命令的使用

PS:如果redis采用了集群部署,不可以直接使用pipeline命令进行操作,因为访问的key可能并不在同一个节点上

// PipelineGetHashField 使用pipeline命令获取多个hash key的单个字段
// keyList,需要获取的hash key列表
// field 需要获取的字段值
func PipelineGetHashField(keyList []string,filed string) []string {
    pipeClient :=client.MainRDS.Pipeline()
    for _, key := range keyList {
        pipeClient.HGet(key, filed)
    }
    res, err := pipeClient.Exec()
    if err != nil {
        if err != redis.Nil {
            logrus.WithField("key_list", keyList).Errorf("[PipelineGetHashField] get from redis error:%s", err.Error())
        }
        /********** !!!!!!!!!!*************/
        // 注意这里如果某一次获取时出错(常见的redis.Nil),返回的err即不为空
        // 如果需要处理redis.Nil为默认值,此处不能直接return
    }
    valList := make([]string, 0, len(keyList))
    for index, cmdRes := range res {
        var val string
        // 此处断言类型为在for循环内执行的命令返回的类型,上面HGet返回的即为*redis.StringCmd类型
        // 处理方式和直接调用同样处理即可
        cmd, ok := cmdRes.(*redis.StringCmd)
        if ok {
            val,err = cmd.Result()
            if err != nil {
                logrus.WithField("key",keyList[index]).Errorf("[PipelineGetHashField] get key error:%s",err.Error())
            }
        }
        valList = append(valList, val)
    }
    return valList
}

到此这篇关于golang redis中Pipeline通道的使用详解的文章就介绍到这了,更多相关golang redis中Pipeline通道内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Golang 实现 Redis系列(六)如何实现 pipeline 模式的 redis 客户端

    本文的完整代码在github.com/hdt3213/godis/redis/client 通常 TCP 客户端的通信模式都是阻塞式的: 客户端发送请求 -> 等待服务端响应 -> 发送下一个请求.因为需要等待网络传输数据,完成一次请求循环需要等待较多时间. 我们能否不等待服务端响应直接发送下一条请求呢?答案是肯定的. TCP 作为全双工协议可以同时进行上行和下行通信,不必担心客户端和服务端同时发包会导致冲突. p.s. 打电话的时候两个人同时讲话就会冲突听不清,只能轮流讲.这种通信方式称为半

  • golang redis中Pipeline通道的使用详解

    目录 一.pipeline出现的背景 二.pipeline的用法 pipeline命令的使用 goredis库连接客户端 package client import (     "github.com/go-redis/redis"     "github.com/sirupsen/logrus" ) var MainRDS *redis.Client func init() {     ConnectRedis() } func ConnectRedis() {

  • redis中的数据结构和编码详解

    redis中的数据结构和编码:     背景: 1>redis在内部使用redisObject结构体来定义存储的值对象. 2>每种类型都有至少两种内部编码,Redis会根据当前值的类型和长度来决定使用哪种编码实现. 3>编码类型转换在Redis写入数据时自动完成,这个转换过程是不可逆的,转换规则只能从小内存编码向大内存编码转换.     源码: 值对象redisObject: typedef struct redisObject {                 unsigned ty

  • Redis中的数据过期策略详解

    1.Redis中key的的过期时间 通过EXPIRE key seconds命令来设置数据的过期时间.返回1表明设置成功,返回0表明key不存在或者不能成功设置过期时间.在key上设置了过期时间后key将在指定的秒数后被自动删除.被指定了过期时间的key在Redis中被称为是不稳定的. 当key被DEL命令删除或者被SET.GETSET命令重置后与之关联的过期时间会被清除 127.0.0.1:6379> setex s 20 1 OK 127.0.0.1:6379> ttl s (intege

  • 在Redis中如何保存时间序列数据详解

    目录 时间序列数据的读写特点 基于Hash和Sorted Set保存时间序列数据 基于RedisTimeSeries模块保存时间序列数据 1.用TS.CREATE命令创建一个时间序列数据集合 2.用TS.ADD命令插入数据,用TS.GET命令读取最新数据 3.用TS.MGET命令按标签过滤查询数据集合 4.用TS.RANGE支持需要聚合计算的范围查询 小结 每课一问 总结 我们现在做互联网产品的时候,都有这么一个需求:记录用户在网站或者App上的点击行为数据,来分析用户行为.这里的数据一般包括用

  • python golang中grpc 使用示例代码详解

    python 1.使用前准备,安装这三个库 pip install grpcio pip install protobuf pip install grpcio_tools 2.建立一个proto文件hello.proto // [python quickstart](https://grpc.io/docs/quickstart/python.html#run-a-grpc-application) // python -m grpc_tools.protoc --python_out=. -

  • Golang 中反射的应用实例详解

    目录 引言 Golang类型设计原则 Golang 中为什么要使用反射/什么场景可以(应该)使用反射 举例场景: 反射的基本用法 反射的性能分析与优缺点 测试反射结构体初始化 测试结构体字段读取/赋值 测试结构体方法调用 优缺点 反射在 okr 中的简单应用 结论 引言 首先来一段简单的代码逻辑热身,下面的代码大家觉得应该会打印什么呢? type OKR struct { id int content string } func getOkrDetail(ctx context.Context,

  • Golang配置解析神器go viper使用详解

    目录 前言 viper简介 功能 viper配置优先级 安装viper 支持哪些文件格式 key大小写问题 使用指南 如何访问viper的功能 配置默认值 读取配置文件 写配置文件 WriteConfig SafeWriteConfig WriteConfigAs SafeWriteConfigAs 监听配置文件 从io.Reader读取配置 显示设置配置项 注册和使用别名 读取环境变量 与命令行参数搭配使用 pflag 扩展其他flag 远程key/value存储支持 访问配置 直接访问 序列

  • Go语言中的数据竞争模式详解

    目录 前言 Go在goroutine中通过引用来透明地捕获自由变量 切片会产生难以诊断的数据竞争 并发访问Go内置的.不安全的线程映射会导致频繁的数据竞争 Go开发人员常在pass-by-value时犯错并导致non-trivial的数据竞争 消息传递(通道)和共享内存的混合使用使代码变得复杂且易受数据竞争的影响 Add和Done方法的错误放置会导致数据竞争 并发运行测试会导致产品或测试代码中的数据竞争 小结 前言 本文主要基于在Uber的Go monorepo中发现的各种数据竞争模式,分析了其

  • Golang WorkerPool线程池并发模式示例详解

    目录 正文 处理CVS文件记录 获取测试数据 线程池耗时差异 正文 Worker Pools 线程池是一种并发模式.该模式中维护了固定数量的多个工作器,这些工作器等待着管理者分配可并发执行的任务.该模式避免了短时间任务创建和销毁线程的代价. 在 golang 中,我们使用 goroutine 和 channel 来构建这种模式.工作器 worker 由一个 goroutine 定义,该 goroutine 通过 channel 获取数据. 处理CVS文件记录 接下来让我们通过一个例子,来进一步理

  • Golang 官方依赖注入工具wire示例详解

    目录 依赖注入是什么 开源选型 wire providers injectors 类型区分 总结 依赖注入是什么 Dependency Injection is the idea that your components (usually structs in go) should receive their dependencies when being created. 在 Golang 中,构造一个结构体常见的有两种方式: 在结构体初始化过程中,构建它的依赖: 将依赖作为构造器入参,传入进

随机推荐