node上的redis调用优化示例详解

前言

如果一个 Node 应用有多台服务器或多个进程在跑，每个进程都拥有自己的内存空间，各个进程之间的数据共享就显得非常重要。

使用数据库是一个解决数据共享的方案，但一些临时性、高并发的数据并不太适合直接写入数据库，比如 session。

引入 Redis 可以解决数据共享的问题，也因为 Redis 是基于内存存储的特点，有着非常高的性能，可以大大降低数据库读写的压力，提升应用的整体性能。

Redis 还可以用来：缓存复杂的数据库查询结果，做自增长统计，暂存用户操作状态等功能。

最近负责的node项目在高并发的情况下性能表现非常的差，rt基本会在7 80ms甚至100ms以上，由于对外提供了dubbo接口，所以经常导致上游应用和自己的dubbo线程池耗尽，所以花了一点时间排查了一番，才发现原来自己的node功力还有很长的路要走啊~之后node的文章可能会越来越多~

最蠢的方式

先来看看我最早是怎么用的呢：

for(let i = 0; i < params.length; i++) {
 redisKey = getKey(params.id);
 let value = await redis.exec('get', redisKey);
}

这就是我最原始的调用方法，就是在for循环里不断的去await结果的请求，这样的结果就是每一个请求都需要等待上一个请求完成再去执行，只要在高流量的时候有一部分请求rt很高，就会引起雪崩的反应。

使用Promise.all优化请求

经过了一阵谷歌之后，我发现可以通过Promise.all的形式来进行请求链路的优化：

for(let i = 0; i < params.length; i++) {
redisKey = getKey(params.id);
 arr.push(redis.exec('get', redisKey))
}
await Promise.all(arr);

上面的第一种方式被我司的node大神严重吐槽了10分钟，然后告诉我，使用Promise.all的方式可以很有效的优化这种连续的网络请求，我赶紧将代码改完并上线。

自信满满的上线之后，迎来的确实现实无情的打击，在高流量的时刻，报警依然不断，我一边和领导说“没事，我再看看”，心里一边想着辞职报告该怎么写。

redis的正确使用姿势

在继续经过了一系列的谷歌之后，我才发现原来的是对redis的理解太浅了，针对于业务上的需求，我不假思索的只知道使用最简单的set和get，而redis对于set和get这样的命令是一条命令一个tcp请求，在业务场景上确实不太合理，于是我使用谷歌告诉我的pipeline机制去改造现有的get请求：

let batch = await RedisClient.getClient().batch();
for(let i = 0; i < params.length; i++) {
 batch.get(redisKey);
}
batch.exec();

对于pipeline机制大家可以看这篇文章。在使用pipeline之后，便秘一下就通畅了，再也没有报警过，终于可以不用辞职了。

再后面的日子里，我觉得认真的研究一下redis这个东西，保证让上面的问题不再发生，于是我发现其实还是有一种更加简单的方案的，那就是使用mget：

for(let i = 0; i < params.length; i++) {
 redisKey = getKey(params.id);
 arr.push(redisKey);
}
let value = await redis.exec('mget', arr);

使用mget进行批量的查询，这是redis里比较常见的一种方式了~

总结一下

在对以上四种方式进行了对比之后得出了数据上的结论：

在一个200次的循环中调用redis请求，第一种最蠢的方案大概是8000ms左右，第二种Promise.all的方案大概在2000ms左右，而第三和第四种方案，大概只需要几十ms就能完成，这真的是质的飞跃啊。

这个线上血淋淋的案例让我决定真的要好好的研究一下redis，不能再轻视它导致犯错。

好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • 教你如何用node连接redis的示例代码

    教你如何用node连接redis的示例代码

    安装redis并启动 下载地址,选择Stable版本下载 或者本地下载地址:https://www.jb51.net/softs/504128.html 解压后,进入文件夹然后安装 cd redis-4.0.9 make//安装 启动redis服务 ./src/redis-server -p 端口号,默认端口为6379,可不带端口号启动 进入redis 客户端 ./src/redis-cli 关闭redis:进入客户端后,输入shutdown即可关闭redis服务 后台启动redis服务 打开r

  • Node.js操作redis实现添加查询功能

    Node.js操作redis实现添加查询功能

    在实际开发中,免不了要操作mysql,mongodb,redis等数据存储服务器.这里先简单介绍如何操作redis. 一个例子 关于redis服务端的安装这里不再介绍,重点不在这里.感兴趣的可以自行安装. 对于一个新的模块,我们需要在我们的项目中先安装redis模块才能用. 命令 cnpm install redis 新建一个redis.js的文件,代码如下: //引入redis var redis = require("redis"); //创建redis客户端 var client

  • 详解nodejs express下使用redis管理session

    Session实现原理 实现请求身份验证的方式很多,其中一种广泛接受的方式是使用服务器端产生的Session ID结合浏览器的Cookie实现对Session的管理,一般来说包括以下4个步骤: 1.服务器端的产生Session ID 2.服务器端和客户端存储Session ID 3.从HTTP Header中提取Session ID 4.根据Session ID从服务器端的Hash中获取请求者身份信息 使用Express和Redis对Session管理的实现 var session = requ

  • Node.js与Sails redis组件的使用教程

    有段时间没写关于NodeJs的文章了,今天也是为了解决高并发的问题,而想起了这个东西,IIS的站点在并发量达到200时有了一个瓶颈,于是想到了这个对高并发支持比较好的框架,nodeJs在我之前写出一些文章,主要为sails框架为主,介绍了一些使用方法,今天主要说下redis组件! 项目:SailsMvc 开发工具:webstorm 语言:nodejs 框架:sails 包:redis 主要介绍几个用法,为string,set,hash和list的使用 测试redis组件的代码 index: fu

  • 在Node.js应用中读写Redis数据库的简单方法

    在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 -- node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下: var redis = require("redis") , client = redis.createClient(); client.on("error", function (err) { console.log("Error " + err);

  • 详解redis在nodejs中的应用

    redis是一个性能非常好的内存数据库,部署在应用程序和mysql数据中间做缓存数据库,可以极大的提升应用程序的性能,这里简单介绍nodejs客户端操作redis的demo程序 redis里面总共可以存储5种数据类型,分别是字符串,列表.集合.三列.有序集合:这里将会对这5种数据类型的增删查改一一处理: 1.redis在mac上的安装: https://redis.io/download,当前我用的版本稳定版本是4.0.9,解压之后,进入redis-4.0.9目录,执行make && su

  • Node.js开发之访问Redis数据库教程

    大家要记住,Node.js主要用于构建高性能.高可伸缩性的服务器和客户端应用,它面向的是"实时Web". Node.js的目标是提供一个"以简单的方式构建可扩展的网络服务器",它受到来自Ruby语言的事件机(Event Machine)和来自Python的Twisted框架的影响. Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.从2010年3月15日起,Redis的开发工作由

  • 提升node.js中使用redis的性能遇到的问题及解决方法

    问题初现 某基于node.js开发的业务系统向外提供了一个dubbo服务,提供向第三方缓存查询.设置多项业务数据并聚合操作结果.在QPS达到800时(两台虚拟机,每台机器4Core8G4node进程),在监控平台上出现了非常多的slow rt警告,平均接口响应达到60+ms,请求报警率达到80%+. 为找到造成该服务吞吐量过低的罪魁祸首,业务人员在请求日志中打点了所有查询缓存的操作,结果显示每个请求查询缓存耗时在50-100ms之间跳动.查询了redis-server的监控数据发现,不存在ser

  • 在Node.js应用中使用Redis的方法简介

    在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 -- node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下: var redis = require("redis") , client = redis.createClient(); client.on("error", function (err) { console.log("Error " + err);

  • node上的redis调用优化示例详解

    前言 如果一个 Node 应用有多台服务器或多个进程在跑,每个进程都拥有自己的内存空间,各个进程之间的数据共享就显得非常重要. 使用数据库是一个解决数据共享的方案,但一些临时性.高并发的数据并不太适合直接写入数据库,比如 session. 引入 Redis 可以解决数据共享的问题,也因为 Redis 是基于内存存储的特点,有着非常高的性能,可以大大降低数据库读写的压力,提升应用的整体性能. Redis 还可以用来:缓存复杂的数据库查询结果,做自增长统计,暂存用户操作状态等功能. 最近负责的nod

  • 人工智能学习Pytorch梯度下降优化示例详解

    人工智能学习Pytorch梯度下降优化示例详解

    目录 一.激活函数 1.Sigmoid函数 2.Tanh函数 3.ReLU函数 二.损失函数及求导 1.autograd.grad 2.loss.backward() 3.softmax及其求导 三.链式法则 1.单层感知机梯度 2. 多输出感知机梯度 3. 中间有隐藏层的求导 4.多层感知机的反向传播 四.优化举例 一.激活函数 1.Sigmoid函数 函数图像以及表达式如下: 通过该函数,可以将输入的负无穷到正无穷的输入压缩到0-1之间.在x=0的时候,输出0.5 通过PyTorch实现方式

  • Python Flask实现图片上传与下载的示例详解

    Python Flask实现图片上传与下载的示例详解

    目录 1.效果预览 2.新增逻辑概览 3.tuchuang.py 逻辑介绍 3.1 图片上传 3.2 图片合法检查 3.3 图片下载 4.__init__.py 逻辑介绍 5.upload.html 介绍 5.1 upload Jinja 模板介绍 5.2 upload css 介绍(虚线框) 5.3 upload js 介绍(拖拽) 1.效果预览 我们基于 Flask 官方指导工程,增加一个图片拖拽上传功能,效果如下: 2.新增逻辑概览 我们在官方指导工程上进行增加代码,改动如下: 由于 fl

  • JavaScript获取上传文件相关信息示例详解

    目录 前题场景 处理方式 图片文件 音频文件 判断处理 分析总结 前题场景 在开发过程中,文件上传是再熟悉不过的场景了,但是根据实际使用情况对上传文件的限制又各有不同.需要对本地上传文件进行相应的限制处理,防止不符合规则或者要求的文件上传到云存储中,从而造成云盘资源空间浪费. 与此同时,也在给客户端使用文件信息之前做了一次数据过滤处理,减少客户端对文件资源的处理和校验. 处理方式 因为客户端使用后台管理上传的图片文件和音频文件时,为了优化展示效果和加载的速度,所以在后台管理系统上传处希望依据图片

  • go实现Redis读写分离示例详解

    go实现Redis读写分离示例详解

    目录 我们为什么需要了解RESP协议? 什么是RESP协议 RESP协议规范 如何使用该协议请求Redis 使用go编写Redis中间件实现读写分离 总结 我们为什么需要了解RESP协议? 本篇文章目的为探究RESP协议,而非编写读写中间件,这点要清楚. 关于这个问题,我想通过一个实例来解释,我们编写Redis中间件,为什么需要了解RESP协议. 以上代码是编写了一个非常简单的TCP服务器,我们监听8888端口,尝试使用redis-cli -p 8888连接服务器后,而后查看打印出来的应用层报文

  • Node.js 应用探索文件解压缩示例详解

    目录 引言 compressing 解压 压缩 archiver adm-zip 压缩 解压缩 总结 引言 今天在使用 node 脚本对文件处理时,需要实现一个功能,要对一个 zip 压缩包解压出来,修改里面的文件后,重新打包成zip包.node 解压缩文件的场景在实际应用中还是比较常见,下面介绍几个用来解压缩文件的库和使用方法. compressing compressing 是一个使用起来方便.功能非常强大的node库,它可以对文件.文件夹进行解压或压缩,支持tar.gzip.tgz.zip

  • TypeScript前端上传文件到MinIO示例详解

    目录 什么是MinIO? 本地Docker部署测试服务器 上传的API TypeScript实现 1. XMLHttpRequest 2. Fetch API 3. Axios 从后端获取临时上传链接 上传文件 踩过的坑 1. presignedPutObject方式上传提交的方法必须得是PUT 2. 直接发送File即可 3. 使用Axios上传的时候,需要自己把Content-Type填写成为file.type 示例代码 什么是MinIO? MinIO 是一款高性能.分布式的对象存储系统.

  • .NetCore实现上传多文件的示例详解

    .NetCore实现上传多文件的示例详解

    本章和大家分享的是.NetCore的MVC框架上传文件的示例,主要讲的内容有:form方式提交上传,ajax上传,ajax提交+上传进度效果,Task并行处理+ajax提交+上传进度,相信当你读完文章内容后能后好的收获,如果可以不妨点个赞:由于昨天电脑没电了,快要写完的内容没有保存,今天早上提前来公司从头开始重新,断电这情况的确让人很头痛啊,不过为了社区的分享环境,这也是值得的,不多说了来进入今天的正篇环节吧: form方式上传一组图片 先来看看咋们html的代码,这里先简单说下要上传文件必须要

  • Ajax实现上传图像功能的示例详解

    Ajax实现上传图像功能的示例详解

    最终效果展示 xhr发起请求 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="widt

  • js前端上传文件缩略图技巧示例详解

    目录 引言 文件对象简介 Blob File FileReader FormData 文件对象之间的关系 缩略图的实现 总结 引言 通常情况下,前端提交给服务器的数据格式为JSON格式,但很多时候用户想上传自己的头像.视频等,这些非文本数据的时候,就不能直接以JSON格式上传到后端了. 当我们要获取用户上传的文件,可以使用input表单项,将type属性值设置为“file”. <form action=""> <input type="file"

随机推荐