Redis连接错误的情况总结分析

前言

最近由于流量增大，redis 出现了一连串错误，比如：

  • LOADING Redis is loading the dataset in memory
  • use of closed network connection
  • connection pool exhausted
  • connection refuse by peer

一个个来分析。

LOADING Redis is loading the dataset in memory

这里至少有2种可能

  • 可用内存太小，修改 redis.conf 中的 maxmemory 即可解决
  • redis 在启动时正在加载 dump.rdb 文件，由于加载比较慢导致 redis 在启动时不可用

我遇到的就是第2种情况，AWS在自动扩容的时候，每个新产生的 EC2 实例都报错，原因就是 redis 在启动时发现有个 dump.rdb，然后就去加载它，导致服务器里的服务都报错，然后就退出了，并且 redis 加载这个要好久（不知道为什么），supervisord 自动重启了新的服务后依然报错。

后来把镜像中的 dump.rdb 文件删了，服务才能正常启动。

dump.rdb 文件产生的原因可能是之前 redis 出现了某种错误，然后在制作镜像时也做进去了，导致新生成的实例个个都报错。

这次吸取了教训，下次制作镜像之前都要先 stop 掉 redis 然后删掉 dump.rdb 。

其他3种错误

一开始也是各种找资料，然后各种改配置，导致这3种错误都先后出现。

一开始我认为是 golang 代码没有正确处理 redis 连接异常的情况，于是各种升级 redigo，改 golang 中的 timeout 、max_active、wait 等的配置，发现都没有用。

这样来来回回折腾了大概一周，终于从 pool.Active 和 pool.MaxActive 中发现了猫腻。

因为我 MaxActive 设置的是 10000，于是我开了 10000 个 go runtine 去测试它，发现当前连接数 pool.Active 老是才 4000 左右，然后就各种报错。

那段时间也是脑子短路了，老是认为 redigo 没有正确处理 redis 的连接才导致 pool.Active 不能上到最大。老是想着改 redigo 的代码……

后来实在没办法，想着去改一改 ulimit，旧的是 500000，改到 990000，发现还是报连接错误，pool.Active 还是上不去，我想这不可能啊，这才想到会不会是 redis 本身有最大连接数的配置。上网一查，果然，redis-server 有一个 maxclients 的配置……默认是 4000 多，改到 10000 后，整个世界都清静了……

其实也不能怪我，因为 redigo 也有个 max_active 参数，鬼知道 redis-server 还要设置呢 [笑哭]？

Redis 用于高并发服务的配置

Redis 客户端（即 golang 代码）

Wait: true 如果连接池满了，就等待， Redis 处理很快的，等个几微秒用户也感觉不出来什么
IdleTimeout: 5s 一个业务逻辑5s都处理不完，那你应该优化你的代码了。如果设置为0，万一这个连接失踪了服务端就收回不了了，会产生僵尸连接的。

MaxActive: 10000 相当于这个服务器能处理每秒 10000 并发了。

Redis 服务器（即 redis-server）

maxclients 要设置得比 MaxActive 大

附加题：一台服务器的最大文件数怎么算？

linux kernel - Need to “calculate” optimum ulimit and fs.file-max values according to my own server needs - Stack Overflow

this ends up being about 100 for every 1MB of ram.

例，如果是 4G 内存，那么打开文件数最大可以设置为：4 * 1024 * 100 = 409600

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • PHP实现基于Redis的MessageQueue队列封装操作示例

    本文实例讲述了PHP实现基于Redis的MessageQueue队列封装操作.分享给大家供大家参考,具体如下: Redis的链表List可以用来做链表,高并发的特性非常适合做分布式的并行消息传递. 项目地址:https://github.com/huyanping/Zebra-PHP-Framework 左进右出 $redis->lPush($key, $value); $redis->rPop($key); 以下程序已在生产环境中正式使用. 基于Redis的PHP消息队列封装 <?ph

  • 详解Redis中Lua脚本的应用和实践

    引言 前段时间组内有个投票的产品,上线前考虑欠缺,导致被刷票严重.后来,通过研究,发现可以通过 redis lua 脚本实现限流,这里将 redis lua 脚本相关的知识分享出来,讲的不到位的地方还望斧正. redis lua 脚本相关命令 这一小节的内容是基本命令,可粗略阅读后跳过,等使用的时候再回来查询 redis 自 2.6.0 加入了 lua 脚本相关的命令,EVAL.EVALSHA.SCRIPT EXISTS.SCRIPT FLUSH.SCRIPT KILL.SCRIPT LOAD,

  • MySQL和Redis实现二级缓存的方法详解

    redis简介 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库 Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用 Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储 Redis支持数据的备份,即master-slave模式的数据备份 优势 性能极高 - Redis能读的速度是110

  • scrapy-redis的安装部署步骤讲解

    先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上, 1. 安装redis yum install -y redis 2. 修改配置文件 vi /etc/redis.conf 将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis 3. 重启redis systemctl restart redis 4. 关闭防火墙 systemctl stop firewalld.service 5. 开始创建scrapy-redis的相

  • Redis主从复制详解

    Redis主从复制详解

    单机Redis存在的问题 无法故障转移 ,无法避免单点故障 磁盘空间的瓶颈 QPS瓶颈 Redis主从复制的作用 提供数据副本 扩展读性能 配置方法 通过命令 通过配置文件 演示 为方便演示,在一台服务器上搭建redis主从(生产上不会这样做),根据端口区分. 主库 6379 从库 6380 编辑配置文件 vi  redis-6379.conf #后台进程启动 daemonize yes #端口 port 6379 #日志文件名称 logfile "6379.log" #Redis工作

  • 一篇文章让你明白Redis主从同步

    一篇文章让你明白Redis主从同步

    今天想和大家分享有关 Redis 主从同步(也称「复制」)的内容. 我们知道,当有多台 Redis 服务器时,肯定就有一台主服务器和多台从服务器.一般来说,主服务器进行写操作,从服务器进行读操作. 那么这里有存在一个问题:从服务器如何和主服务器进行数据同步的呢? 这个问题,就是通过今天的内容:主从同步来解决的. 文章内容依旧比较干,建议大家静下心来专心看,文末会给大家做个简单总结归纳. 1. 如何进行主从同步 假如,现在有 2 台 Redis 服务器,地址分别是 127.0.0.1:6379 和

  • Redis的5种数据类型与常用命令讲解

    Redis的5种数据类型与常用命令讲解

    1.redis的5种数据类型: string 字符串(可以为整形.浮点型和字符串,统称为元素) list 列表(实现队列,元素不唯一,先入先出原则) set 集合(各不相同的元素) hash hash散列值(hash的key必须是唯一的) sort set 有序集合 2.string类型的常用命令: 自加:incr 自减:decr 加: incrby 减: decrby 3.list类型支持的常用命令: lpush:从左边推入 lpop:从右边弹出 rpush:从右变推入 rpop:从右边弹出

  • Python获取Redis所有Key以及内容的方法

    一.获取所有Key # -*- encoding: UTF-8 -*- __author__ = "Sky" import redis pool=redis.ConnectionPool(host='127.0.0.1',port=6379,db=0) r = redis.StrictRedis(connection_pool=pool) keys = r.keys() print type(keys) print keys 运行结果: <type 'list'> ['fa

  • 详解简单基于spring的redis配置(单机和集群模式)

    需要的jar包:spring版本:4.3.6.RELEASE,jedis版本:2.9.0,spring-data-redis:1.8.0.RELEASE:如果使用jackson序列化的话还额外需要:jackson-annotations和jackson-databind包 spring集成redis单机版: 1.配置RedisTemplate <bean id="redisTemplate" class="org.springframework.data.redis.c

  • Docker安装官方Redis镜像并启用密码认证

    参考:docker官方redis文档 1.有特殊版本需求的可以查看redis镜像tag版本 3.2.11, 3.2, 3 (3.2/Dockerfile) 3.2.11-32bit, 3.2-32bit, 3-32bit (3.2/32bit/Dockerfile) 3.2.11-alpine, 3.2-alpine, 3-alpine (3.2/alpine/Dockerfile) 4.0.9, 4.0, 4, latest (4.0/Dockerfile) 4.0.9-32bit, 4.0-

随机推荐