解决使用redisTemplate高并发下连接池满的问题

用JMeter进行高并发测试的时候,发现报错:

org.springframework.data.redis.RedisConnectionFailureException: Cannot get Jedis connection;

nested exception is redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool

连不上redis,是因为连接池不够用了

我用的是redisTemplate来操作redis,而redisTemplate并不会自动释放连接

有一个方法,就是加大最大连接数,但是治标不治本,加到redis.maxIdle=1000了,看似够大了,但连接数一直在增加,迟早会崩

找了很久,最后发现 这个方法可用

在使用redisTemplate的部分用try-catch-finally包起来

在catch-finally中加上,手动断开连接,现在就不会报错了

RedisConnectionUtils.unbindConnection(redisTemplate.getConnectionFactory());

现在设置最大连接数redis.maxIdle=100也没事了

在redis-cli中输入 info clients 现在的连接数大概在二三十左右

补充知识:Redis 配置连接池,redisTemplate 操作多个db数据库,切换多个db,解决JedisConnectionFactory的设置连接方法过时问题。

环境

1、springmvc

2、jdk1.8

3、maven

redis.properties配置文件

#redis setting
redis.host=localhost
redis.port=6379
redis.password=
redis.maxIdle=200
redis.minIdle=0
redis.maxActive=50
redis.maxWait=10000
redis.testOnBorrow=true
redis.timeout=100000

#定义需要使用的db
//#sessionCode DB
sessionCodeDb = 0
//#车辆基本信息 DB
bicycleInfoDb = 15
//#当前位置信息 DB
currentLocationDb = 14
//#锁车/解锁 DB
lockDb = 13
//#根据车牌获取电子车牌 DB
ebikeNoDb = 12
//#根据电子车牌获取车牌 DB
bikeNoDb = 11

pom.xml依赖

 <properties>
 <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
 <spring.version>5.1.2.RELEASE</spring.version>
 </properties>
 <!-- spring4 start -->
 <dependency>
 <groupId>org.springframework</groupId>
 <artifactId>spring-context</artifactId>
 <version>${spring.version}</version>
 </dependency>
 <dependency>
 <groupId>org.springframework</groupId>
 <artifactId>spring-context-support</artifactId>
 <version>${spring.version}</version>
 </dependency>
 <dependency>
 <groupId>org.springframework</groupId>
 <artifactId>spring-core</artifactId>
 <version>${spring.version}</version>
 </dependency>
 <dependency>
 <groupId>org.springframework</groupId>
 <artifactId>spring-web</artifactId>
 <version>${spring.version}</version>
 </dependency>
 <dependency>
 <groupId>org.springframework</groupId>
 <artifactId>spring-webmvc</artifactId>
 <version>${spring.version}</version>
 </dependency>

<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
 <dependency>
 <groupId>redis.clients</groupId>
 <artifactId>jedis</artifactId>
 <version>2.9.3</version>
 </dependency>
 <!-- https://mvnrepository.com/artifact/org.springframework.data/spring-data-redis -->
 <dependency>
 <groupId>org.springframework.data</groupId>
 <artifactId>spring-data-redis</artifactId>
 <version>2.0.14.RELEASE</version>
 </dependency>
 <!-- fastjson -->
 <dependency>
 <groupId>com.alibaba</groupId>
 <artifactId>fastjson</artifactId>
 <version>1.2.11</version>
 </dependency>
 <!-- json-lib -->
 <!-- <dependency> <groupId>net.sf.json-lib</groupId> <artifactId>json-lib</artifactId> <version>2.4</version> <classifier>jdk15</classifier>
 </dependency> -->
 <dependency>
 <groupId>net.sf.json-lib</groupId>
 <artifactId>json-lib</artifactId>
 <version>2.4</version>
 <classifier>jdk15</classifier>
 </dependency>

RedisConfig.java 配置类 初始化redis连接池

import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.connection.RedisPassword;
import org.springframework.data.redis.connection.RedisStandaloneConfiguration;
import org.springframework.data.redis.connection.jedis.JedisClientConfiguration;
import org.springframework.data.redis.connection.jedis.JedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.ValueOperations;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import org.springframework.stereotype.Component;
import redis.clients.jedis.JedisPoolConfig;

import javax.annotation.PostConstruct;
import java.io.Serializable;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;

@Component
@Slf4j
public class RedisConfig {

 @Value("${redis.host}")
 private String hostName;
 @Value("${redis.port}")
 private int port;
 @Value("${redis.password}")
 private String passWord;
 @Value("${redis.maxIdle}")
 private int maxIdl;
 @Value("${redis.minIdle}")
 private int minIdl;
 @Value("${redis.timeout}")
 private int timeout;

 @Value("${sessionCodeDb}")
 private int sessionCodeDb;
 @Value("${bicycleInfoDb}")
 private int bicycleInfoDb;
 @Value("${currentLocationDb}")
 private int currentLocationDb;
 @Value("${lockDb}")
 private int lockDb;
 @Value("${ebikeNoDb}")
 private int ebikeNoDb;
 @Value("${bikeNoDb}")
 private int bikeNoDb;

 public static Map<Integer,RedisTemplate<Serializable, Object>> redisTemplateMap = new HashMap<>();

 @PostConstruct
 public void initRedisTemp() throws Exception{
  log.info("###### START 初始化 Redis 连接池 START ######");
  redisTemplateMap.put(sessionCodeDb,redisTemplateObject(sessionCodeDb));
  redisTemplateMap.put(bicycleInfoDb,redisTemplateObject(bicycleInfoDb));
  redisTemplateMap.put(currentLocationDb,redisTemplateObject(currentLocationDb));
  redisTemplateMap.put(lockDb,redisTemplateObject(lockDb));
  redisTemplateMap.put(ebikeNoDb,redisTemplateObject(ebikeNoDb));
  redisTemplateMap.put(bikeNoDb,redisTemplateObject(bikeNoDb));
  log.info("###### END 初始化 Redis 连接池 END ######");
 }

 public RedisTemplate<Serializable, Object> redisTemplateObject(Integer dbIndex) throws Exception {
  RedisTemplate<Serializable, Object> redisTemplateObject = new RedisTemplate<Serializable, Object>();
  redisTemplateObject.setConnectionFactory(redisConnectionFactory(jedisPoolConfig(),dbIndex));
  setSerializer(redisTemplateObject);
  redisTemplateObject.afterPropertiesSet();
  return redisTemplateObject;
 }

 /**
  * 连接池配置信息
  * @return
  */
 public JedisPoolConfig jedisPoolConfig() {
  JedisPoolConfig poolConfig=new JedisPoolConfig();
  //最大连接数
  poolConfig.setMaxIdle(maxIdl);
  //最小空闲连接数
  poolConfig.setMinIdle(minIdl);
  poolConfig.setTestOnBorrow(true);
  poolConfig.setTestOnReturn(true);
  poolConfig.setTestWhileIdle(true);
  poolConfig.setNumTestsPerEvictionRun(10);
  poolConfig.setTimeBetweenEvictionRunsMillis(60000);
  //当池内没有可用的连接时,最大等待时间
  poolConfig.setMaxWaitMillis(10000);
  //------其他属性根据需要自行添加-------------
  return poolConfig;
 }
 /**
  * jedis连接工厂
  * @param jedisPoolConfig
  * @return
  */
 public RedisConnectionFactory redisConnectionFactory(JedisPoolConfig jedisPoolConfig,int db) {
  //单机版jedis
  RedisStandaloneConfiguration redisStandaloneConfiguration =
    new RedisStandaloneConfiguration();
  //设置redis服务器的host或者ip地址
  redisStandaloneConfiguration.setHostName(hostName);
  //设置默认使用的数据库
  redisStandaloneConfiguration.setDatabase(db);
  //设置密码
  redisStandaloneConfiguration.setPassword(RedisPassword.of(passWord));
  //设置redis的服务的端口号
  redisStandaloneConfiguration.setPort(port);
  //获得默认的连接池构造器(怎么设计的,为什么不抽象出单独类,供用户使用呢)
  JedisClientConfiguration.JedisPoolingClientConfigurationBuilder jpcb =
    (JedisClientConfiguration.JedisPoolingClientConfigurationBuilder)JedisClientConfiguration.builder();
  //指定jedisPoolConifig来修改默认的连接池构造器(真麻烦,滥用设计模式!)
  jpcb.poolConfig(jedisPoolConfig);
  //通过构造器来构造jedis客户端配置
  JedisClientConfiguration jedisClientConfiguration = jpcb.build();
  //单机配置 + 客户端配置 = jedis连接工厂
  return new JedisConnectionFactory(redisStandaloneConfiguration, jedisClientConfiguration);
 }

 private void setSerializer(RedisTemplate<Serializable, Object> template) {
  Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer<Object>(
    Object.class);
  ObjectMapper om = new ObjectMapper();
  om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
  om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
  jackson2JsonRedisSerializer.setObjectMapper(om);
  template.setKeySerializer(template.getStringSerializer());
  template.setValueSerializer(jackson2JsonRedisSerializer);
  template.setHashValueSerializer(jackson2JsonRedisSerializer);
  //在使用String的数据结构的时候使用这个来更改序列化方式
  RedisSerializer<String> stringSerializer = new StringRedisSerializer();
  template.setKeySerializer(stringSerializer );
  template.setValueSerializer(stringSerializer );
  template.setHashKeySerializer(stringSerializer );
  template.setHashValueSerializer(stringSerializer );
 }

 /**
  * 删除对应的value
  * @param key
  */
 public void remove(final String key,int db) {
  RedisTemplate<Serializable, Object> redisTemplate = getRedisTemplateByDb(db);
  if (exists(key,redisTemplate)) {
   redisTemplate.delete(key);
  }
 }

 /**
  * 判断缓存中是否有对应的value
  * @param key
  * @return
  */
 public boolean exists(final String key,RedisTemplate<Serializable, Object> redisTemplate) {
  return redisTemplate.hasKey(key);
 }

 /**
  * 读取缓存
  * @param key
  * @return
  */
 public Object get(final String key,int db) {
  RedisTemplate<Serializable, Object> redisTemplate = getRedisTemplateByDb(db);
  Object result = null;
  ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();
  result = operations.get(key);
  return result;
 }

 /**
  * 写入缓存
  * @param key
  * @param value
  * @return
  */
 public boolean set(final String key, Object value,int db) {
  RedisTemplate<Serializable, Object> redisTemplate = getRedisTemplateByDb(db);
  boolean result = false;
  try {
   ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();
   operations.set(key, value);
   result = true;
  } catch (Exception e) {
   log.error("set cache error", e);
  }
  return result;
 }

 /**
  * 根据key 获取过期时间
  * @param key 键 不能为null
  * @return 返回0代表为永久有效
  */
 public long getExpire(String key,TimeUnit unit,int db) {
  RedisTemplate<Serializable, Object> redisTemplate = getRedisTemplateByDb(db);
  return redisTemplate.getExpire(key, unit);
 }

/**
  * 根据db 获取对应的redisTemplate实例
  * @param db
  * @return
  */
 public RedisTemplate<Serializable, Object> getRedisTemplateByDb(int db){
  return redisTemplateMap.get(db);
 }
}

在其他类中的使用

 @Autowired
 private RedisConfig redisUtil;

 //#获取db0 数据库的数据
 public static Integer sessionCodeDb = 0;
/**
 * 根据sessionCode获取userId
 * @param sessionCode
 * @return
 */
 public String getUserIdBySessionCode(String sessionCode){
 try {
 Object obj = redisUtil.get(sessionCode,sessionCodeDb);
 if(obj!=null) {
 return obj.toString();
 }else{
 return null;
 }
 }catch (Exception e){
 e.printStackTrace();
 return null;
 }
 }

以上这篇解决使用redisTemplate高并发下连接池满的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。

(0)

相关推荐

  • PHP+Redis事务解决高并发下商品超卖问题(推荐)

    对于一些有一定用户量的电商网站,如果只是单纯的使用关系型数据库(如MySQL.Oracle)来做抢购,对数据库的压力是非常大的,而且如果不使用好数据库的锁机制,还会导致商品.优惠券超卖的问题.我所在的公司也遇到了同样的问题,问题发生在优惠券被超量抢购上,在问题发生后我们开始想办法解决问题,由于自己使用redis比较多,我准备使用redis来解决这个问题.利用redis的高性能和事务特性来解决线上优惠券被超库存抢购的问题,下面我给出我临时解决这个问题的第一版的伪代码,去掉了一些细节: /** *

  • PHP+Redis链表解决高并发下商品超卖问题(实现原理及步骤)

    上一篇文章聊了一下使用Redis事务来解决高并发商品超卖问题,今天我们来聊一下使用Redis链表来解决高并发商品超卖问题. 实现原理 使用redis链表来做,因为pop操作是原子的,即使有很多用户同时到达,也是依次执行,推荐使用. 实现步骤 第一步,先将商品库存入队列 /** * 添加商品数量到商品队列 * @param int $couponId 优惠券ID */ function addCoupons($couponId) { //1.初始化Redis连接 $redis = new Redi

  • Redis有效时间设置以及时间过期处理操作

    本文对redis的过期处理机制做个简单的概述,让大家有个基本的认识. Redis中有个设置时间过期的功能,即对存储在redis数据库中的值可以设置一个过期时间.作为一个缓存数据库,这是非常实用的.如我们一般项目中的token或者一些登录信息,尤其是短信验证码都是有时间限制的,按照传统的数据库处理方式,一般都是自己判断过期,这样无疑会严重影响项目性能. 一.有效时间设置: redis对存储值的过期处理实际上是针对该值的键(key)处理的,即时间的设置也是设置key的有效时间.Expires字典保存

  • 基于SpringBoot2.0默认使用Redis连接池的配置操作

    SpringBoot2.0默认采用Lettuce客户端来连接Redis服务端的 默认是不使用连接池的,只有配置 redis.lettuce.pool下的属性的时候才可以使用到redis连接池 redis: cluster: nodes: ${redis.host.cluster} password: ${redis.password} lettuce: shutdown-timeout: 100 # 关闭超时时间 pool: max-active: 8 # 连接池最大连接数(使用负值表示没有限制

  • Redis处理高并发机制原理及实例解析

    1.Redis是基于内存的,内存的读写速度非常快: 2.Redis是单线程的,省去了很多上下文切换线程的时间: 3.Redis使用多路复用技术,可以处理并发的连接.非阻塞IO 内部实现采用epoll,采用了epoll+自己实现的简单的事件框架.epoll中的读.写.关闭.连接都转化成了事件,然后利用epoll的多路复用特性,绝不在io上浪费一点时间. 下面重点介绍单线程设计和IO多路复用核心设计快的原因 为什么Redis是单线程的 1.官方答案 因为Redis是基于内存的操作,CPU不是Redi

  • Python+redis通过限流保护高并发系统

    保护高并发系统的三大利器:缓存.降级和限流.那什么是限流呢?用我没读过太多书的话来讲,限流就是限制流量.我们都知道服务器的处理能力是有上限的,如果超过了上限继续放任请求进来的话,可能会发生不可控的后果.而通过限流,在请求数量超出阈值的时候就排队等待甚至拒绝服务,就可以使系统在扛不住过高并发的情况下做到有损服务而不是不服务. 举个例子,如各地都出现口罩紧缺的情况,广州政府为了缓解市民买不到口罩的状况,上线了预约服务,只有预约到的市民才能到指定的药店购买少量口罩.这就是生活中限流的情况,说这个也是希

  • 解决使用redisTemplate高并发下连接池满的问题

    用JMeter进行高并发测试的时候,发现报错: org.springframework.data.redis.RedisConnectionFailureException: Cannot get Jedis connection; nested exception is redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool 连不上redis,是因为连接池不够用了 我用的是red

  • 如何解决线程太多导致java socket连接池出现的问题

    这篇文章主要介绍了如何解决线程太多导致socket连接池出现的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 线程太多导致socket连接池爆满,进程启动不了 问题: 某部机上跟其它机器的连接有问题,ping可以通,telnet端口不通,可以其它机器可以连接到该机器上的进程. java应用启动不起来,产生以下错误. java.net.SocketException: No buffer space available (maximum co

  • JDBC数据源连接池配置及应用

    使用JDBC建立数据库连接的两种方式: 1.在代码中使用DriverManager获得数据库连接.这种方式效率低,并且其性能.可靠性和稳定性随着用户访问量得增加逐渐下降. 2.使用配置数据源的方式连接数据库,该方式其实质就是在上述方法的基础上增加了数据库连接池,这种方式效率高. 数据源连接池的方式连接数据库与在代码中使用DriverManager获得数据库连接存在如下差别: 1)数据源连接池的方式连接数据库是在程序中,通过向一个JNDI(Java Naming and  Directory In

  • JDBC自定义连接池过程详解

    这篇文章主要介绍了JDBC自定义连接池过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 开发中,"获得连接"和"释放资源"是非常消耗系统资源的,为了解决此类性能问题可以采用连接池技术来共享连接Connection. 1.概述 用池来管理Connection,这样可以重复使用Connection.这样我们就不用创建Connection,用池来管理Connection对象,当使用完Connection对象后,将C

  • 线程池满Thread pool exhausted排查和解决方案

    目录 发生{Thread pool is EXHAUSTED}时的服务器日志 产生原因 大并发导致配置的线程不够用 调用外部接口程序出现阻塞,等待时间过长 定位方式 Dubbo线上Thread pool is EXHAUSTED问题跟踪 发生{Thread pool is EXHAUSTED}时的服务器日志 产生原因 大并发导致配置的线程不够用 在初始时候,dubbo协议配置,我是使用dubbo默认的参数,dubbo线程池默认是固定长度线程池,大小为200. 一开始出现线程池满的问题,本以为是并

  • C3P0连接池+MySQL的配置及wait_timeout问题的解决方法

     一.配置环境 spring4.2.4+mybatis3.2.8+c3p0-0.9.1.2+Mysql5.6.24 二.c3p0的配置详解及spring+c3p0配置 1.配置详解 官方文档 : http://www.mchange.com/projects/c3p0/index.html <c3p0-config> < default-config> <!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数.Default: 3 --> <property

  • springboot2整合redis使用lettuce连接池的方法(解决lettuce连接池无效问题)

    lettuce客户端 Lettuce 和 Jedis 的都是连接Redis Server的客户端程序.Jedis在实现上是直连redis server,多线程环境下非线程安全(即多个线程对一个连接实例操作,是线程不安全的),除非使用连接池,为每个Jedis实例增加物理连接.Lettuce基于Netty的连接实例(StatefulRedisConnection),可以在多个线程间并发访问,且线程安全,满足多线程环境下的并发访问(即多个线程公用一个连接实例,线程安全),同时它是可伸缩的设计,一个连接

  • Java httpClient连接池支持多线程高并发的实现

    当采用HttpClient httpClient = HttpClients.createDefault() 实例化的时候.会导致Address already in use的异常. 信息: I/O exception (java.net.BindException) caught when processing request to {}->http://**.**.**.** Address already in use: connect 十一月 22, 2018 5:02:13 下午 or

随机推荐