使用HTTPclient保持长连接

目录
  • HTTPclient保持长连接
    • 首先解释一下什么是长连接
    • 如何在java中实现一个长连接呢
  • httpclient因为保持永久长连接造成连接吊死的问题
    • 添加策略后,问题解决

HTTPclient保持长连接

首先解释一下什么是长连接

当我们向一台服务器发起请求时,我们需要和对方建立一条通道,去传输数据,所谓的短连接,就是说我们建立起了通道,然后在传输完数据,就把通道摧毁,下次需要的时候再重新去建立通道。

长连接呢,就是指,我们建立了一条通道,传递完数据后,先不摧毁,下次如果还需要传输数据,就复用这条通道。

因为通道的建立是需要花费时间的,所以长连接的优势就在于响应速度快,但是服务器压力大,因为同时有很多人在向服务器建立通道,即便有些通道已经传输完数据了,由于长连接的原因,通道也不会被摧毁;短连接呢,则是,响应速度慢,服务器压力小。

由于现在更多的是强调用户的体验,所以长连接目前是最常见的。

如何在java中实现一个长连接呢

其实很简单,只需要在请求的请求头中加入特定的参数 :“Connection”:"keep-alive"即可。这样如果对方支持长连接的话,那么这个连接就会保持长连接了。

问题的关键就来了,在一次压测某个https请求响应速度的代码中,我发现了,当对方响应数据为null,也就是responseBody中带的数据为null时,响应速度特别快,大概在5ms左右,但是一旦对方返回了响应数据,本次响应就可能达到了20ms。

然后请运维同事抓包,发现每次连接,都会耗费时间在用户认证上,其实也就是从某个方面反应出,每次都是新建立了一个连接。

HttpPost httpPost = new HttpPost("xxxxx");
httpPost.addHeader("Connection", "keep-alive");
CloseableHttpClient httpClient = null;
for(int i =0 ;i<5000;i++){
    long t1 = System.currentTimeMillis();
	CloseableHttpResponse response = httpClient.execute(httpPost);
	long t2 = System.currentTimeMillis();
}

上了一段简单的代码,表示一下大概的逻辑,实际的压测代码还包括了线程池,连接池的完整参数等等,如果需要的可以留言或者翻看本人的其他的博客,有写线程池和连接池。

就是这样一段代码,导致每次连接都是新建立的连接,那么原因是什么呢,我们先上代码:

for (int i = 0; i<5000;i++){
     long t1 = System.currentTimeMillis();
      CloseableHttpResponse response = httpClient.execute(httpPost);
      if(null != response.getEntity()){
           EntityUtils.consume(response.getEntity());
      }
      long t2 = System.currentTimeMillis();
 }

我们只需要简单加上三行代码,就可以解决这个问题了,这是为什么呢,让我们点进去源码看一下

这么一看, 其实这个方法也并没有做什么,只是简单的取到了流去关闭,为什么就保持长连接了呢。

后来仔细读http连接的原理才得知,当一个连接建立,响应数据时,会封装CloseableHttpResponse这个对象里面,其中的Entity对象就是包含着响应体的数据,我们需要用流去获取。如果你不去获取,那么这个数据就会存在于这个对象中,连接池就会认为,这个通道里有未处理的数据,然后它不会去复用这个通道,而是选择重建一个通道。这就完美解释了为什么压测时,对方返回null时,响应速度特别快,而携带返回数据时,响应速度特别慢了。

那么再仔细想想,为什么我们平常不知道这个知识点,却从来没有报过错呢,那是因为正常情况下,我们都是需要会对response做处理,比如String responseContent = EntityUtils.toString(response.getEntity(), StandardCharsets.UTF_8); 类似这种,我们点进源码看,其实也是取到了流,并做了关闭操作。平常还是要多阅读源码,想想源码。

httpclient因为保持永久长连接造成连接吊死的问题

httpclient使用了连接池,如果没有设置keep-alive策略,PoolingHttpClientConnectionManager会默认使用永久连接。

最近在调用京东api时,发现一个请求开始是可以获取到数据的,但隔了两分钟后再请求就会出现read timeout异常。

对比请求成功和请求失败的日志后发现,请求成功的有以下日志“Connection: keep-alive”,“Connection can be kept alive indefinitely”;但请求失败的却打印“Shutdown connection”,“Connection discarded”。

每次失败后再请求都会成功。因此推测中应该是对方服务器端禁止长连接,当连接到达一定时间会就会断开。

后来上网找到keep-alive策略的代码。

添加策略后,问题解决

ConnectionKeepAliveStrategy keepAliveStrategy = new ConnectionKeepAliveStrategy() {
            @Override
            public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
                HeaderElementIterator it = new BasicHeaderElementIterator(response.headerIterator(HTTP.CONN_KEEP_ALIVE));
                while (it.hasNext()) {
                    HeaderElement he = it.nextElement();
                    String param = he.getName();
                    String value = he.getValue();
                    if (value != null && param.equalsIgnoreCase("timeout")) {
                        try {
                            return Long.parseLong(value) * 1000;
                        }
                        catch (NumberFormatException ignore) {
                        }
                    }
                }
                HttpHost target = (HttpHost) context.getAttribute(HttpClientContext.HTTP_TARGET_HOST);
                if ("bizapi.jd.com ".equalsIgnoreCase(target.getHostName())) {
                    return 60 * 1000;
                }
                else {
                    return 300 * 1000;
                }
   CloseableHttpClient httpClient = httpClientBuilder.setConnectionManager(pollingConnectionManager)
                .setKeepAliveStrategy(keepAliveStrategy).setDefaultRequestConfig(defaultRequestConfig).build();

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。

(0)

相关推荐

  • JAVA实现长连接(含心跳检测Demo)

    实现原理:        长连接的维持,是要客户端程序,定时向服务端程序,发送一个维持连接包的.        如果,长时间未发送维持连接包,服务端程序将断开连接. 客户端:        Client通过持有Socket的对象,可以随时(使用sendObject方法)发送Massage Object(消息)给服务端.        如果keepAliveDelay毫秒(程序中是2秒)内未发送任何数据,则自动发送一个KeepAlive Object(心跳)给服务端,用于维持连接.       

  • HTTP长连接与短连接使用方法及测试详解

    HTTP短连接(非持久连接)是指,客户端和服务端进行一次HTTP请求/响应之后,就关闭连接.所以,下一次的HTTP请求/响应操作就需要重新建立连接. HTTP长连接(持久连接)是指,客户端和服务端建立一次连接之后,可以在这条连接上进行多次请求/响应操作.持久连接可以设置过期时间,也可以不设置. 我为什么没有说HTTP/1.0 默认短连接,HTTP/1.1起,默认长连接呢?因为我第一次看这个说法的时候,以为自己懂了,其实并没有懂.长短连接操作上有什么区别,有的地方出现的持久连接又是怎么回事? 使用

  • Java如何实现长连接

    实现原理: 长连接的维持,是要客户端程序,定时向服务端程序,发送一个维持连接包的. 如果,长时间未发送维持连接包,服务端程序将断开连接. 客户端: Client通过持有Socket的对象,可以随时(使用sendObject方法)发送Massage Object(消息)给服务端. 如果keepAliveDelay毫秒(程序中是2秒)内未发送任何数据,则自动发送一个KeepAlive Object(心跳)给服务端,用于维持连接. 由于,我们向服务端,可以发送很多不同的消息对象,服务端也可以返回不同的

  • 使用HTTPclient保持长连接

    目录 HTTPclient保持长连接 首先解释一下什么是长连接 如何在java中实现一个长连接呢 httpclient因为保持永久长连接造成连接吊死的问题 添加策略后,问题解决 HTTPclient保持长连接 首先解释一下什么是长连接 当我们向一台服务器发起请求时,我们需要和对方建立一条通道,去传输数据,所谓的短连接,就是说我们建立起了通道,然后在传输完数据,就把通道摧毁,下次需要的时候再重新去建立通道. 长连接呢,就是指,我们建立了一条通道,传递完数据后,先不摧毁,下次如果还需要传输数据,就复

  • C#中HttpClient使用注意(预热与长连接)

    最近在测试一个第三方API,准备集成在我们的网站应用中.API的调用使用的是.NET中的HttpClient,由于这个API会在关键业务中用到,对调用API的整体响应速度有严格要求,所以对HttpClient有了格外的关注. 开始测试的时候,只在客户端通过HttpClient用PostAsync发了一个http post请求.测试时发现,从创建HttpClient实例,到发出请求,到读取到服务器的响应数据总耗时在2s左右,而且多次测试都是这样.2s的响应速度当然是无法让人接受的,我们希望至少控制

  • 构建高效的python requests长连接池详解

    前文: 最近在搞全网的CDN刷新系统,在性能调优时遇到了requests长连接的一个问题,以前关注过长连接太多造成浪费的问题,但因为系统都是分布式扩展的,针对这种各别问题就懒得改动了. 现在开发的缓存刷新系统,对于性能还是有些敏感的,我后面会给出最优的http长连接池构建方式. 老生常谈: python下的httpclient库哪个最好用? 我想大多数人还是会选择requests库的.原因么?也就是简单,易用! 如何蛋疼的构建reqeusts的短连接请求: python requests库默认就

  • Java Web项目中使用Socket通信多线程、长连接的方法

    很多时候在javaweb项目中我们需要用到Socket通信来实现功能,在web中使用Socket我们需要建立一个监听程序,在程序启动时,启动socket监听.我们的应用场景是在java项目中,需要外接如一个硬件设备,通过tcp通信,获取设备传上来的数据,并对数据做回应. 先看一下web的监听代码: import javax.servlet.ServletContextEvent; import javax.servlet.ServletContextListener; public class

  • java socket长连接中解决read阻塞的3个办法

    解决的方法有3个 : 1 约定发送的数据长度,比如 http的 keepAlive 就是必须依赖这个的 Content-Length 2 设置超时的时间,根据我的经验,只有在Socket级别设置才有效. 复制代码 代码如下: Socket socket = new Socket(host,port); socket.setSoTimeout(100); // 如果超过100毫秒还没有数据,则抛出 SocketTimeoutException 3 让发送端发送完数据后,关闭连接. 这个在Http的

  • 在Asp.net下实现变长连接的web即时应用的实现范例及ReverseAjax的演示介绍

    ReverseAjax 反转AJAX是一种旨在将逻辑控制权转移到服务端的Web实现模式 何谓控制权转移 传统的AJAX调用一般由客户端行为触发,比如说获取区域数据,异步验证等. ReverseAjax将控制权转交给服务端,就像服务端触发客户端事件一样,即很早的Web推的技术. ASP.NET实现变长连接需要使用到异步页面的技术,同时该页面需要禁用会话来实现每次请求都产生一个新的实例执行. 复制代码 代码如下: <%@ Page Language="C#" AutoEventWir

  • 基于php实现长连接的方法与注意事项的问题

    php可以通过set_time_limit(0);来取消php脚步超时限制,从而达到长连接的效果. 例子代码如下: 复制代码 代码如下: <?php echo "每隔3秒输出一次<br />"; set_time_limit(0); //保证php程序运行不超时退出 while(1) { echo date("H:i:s")."<br />"; ob_flush(); flush(); //刷新并输出PHP缓冲数据

  • PHP扩展模块memcached长连接使用方法分析

    网上广泛流传着一篇文章,讲述php的两个扩展模块memcache和memcached的区别,其中特意强调了memcached与memcached一个很大的区别是memcached模块不支持长连接.以至于后来很多年我都认为memcached是不支持长连接的,其实不然,memcached扩展模块从很早的版本开始就已经支持长连接了.从扩展模块的源码注视中我们就能看到: /* {{{ Memcached::__construct([string persistent_id[, callback on_n

  • 基于HTTP长连接的"服务器推"技术的php 简易聊天室

    首先是首页,包含一个文本输入和一个显示聊天内容的iframe,还有一个隐藏iframe用来提交form表单: 复制代码 代码如下: <?php //chat.php header('cache-control: private'); header('Content-Type: text/html; charset=utf-8'); ?> <html> <script type="text/javascript"> function submitCha

  • Ajax长连接项目案例

    所谓的长连接,就是不断去发送请求,把请求阻塞在服务器端,每次超过请求时间就去重新发送请求,保持连接,随时获取服务器端的响应的数据 项目案例: 复制代码 代码如下: function connection(){ $.ajax({ type:"GET", url:"/api2/session/event?", data:{ "uid":obj.uid, "sessionID":"cool" }, success

随机推荐