解决OkHttp接收gzip压缩数据返回乱码问题

目录
  • 问题
    • 请求头信息
    • BridgeInterceptor拦截器

问题

Retrofit 是现在最流行的网络开发框架之一,功能十分强大,但是最近确遇到一个十分坑的问题,现在记录下来,希望看到的人能注意下。

众所周知,在 HTTP 传输时是支持 gzip 压缩的,客户端发起请求时在请求头里增加 Accept-Encoding: gzip,服务端响应时在返回的头信息里增加 Content-Encoding: gzip,这表示传输的数据是采用 gzip 压缩的。默认情况下,传输内容是不压缩的,采用 gzip 压缩后可以大幅减少传输内容大小,这样可以提高传输速度,减少流量的使用。

请求头信息

本来 OkHttp 是默认支持 gzip 解压缩的,不需要额外配置的。但是我在拦截器里统一添加了很多请求头信息,大概代码如下:

public class RequestInterceptor implements Interceptor {
    public RequestInterceptor() {
    }
    @Override
    public Response intercept(Chain chain) throws IOException {
        Request.Builder builder = chain.request()
                .newBuilder()
                .addHeader("Accept", "application/json")
                .addHeader("Accept-Encoding", "gzip");
        Request request = builder.build();
        return chain.proceed(request);
    }
}

以前服务端没有开启 gzip 压缩,一直都没有问题,某天突然运维加了 gzip 压缩,说是为了要省流量带宽,结果就悲剧了,我们 Android APP 里所有的接口都报错了,明明前一秒都是OK的,后一秒就都不能访问了,但是 iOS 里却能正常访问,这是最令人崩溃的事情。

立即进行代码调试,发现 Android 里的 http 请求返回的都是乱码字符串了,其实这些都是 gzip 压缩的数据,不是说 OkHttp 是自动支持 gzip 解压缩的吗?为什么我们的返回数据没有进行 gzip 解压?还有一个奇怪的现象是,当我把这段代码 addHeader("Accept-Encoding", "gzip") 去掉之后,一切又恢复正常了。

BridgeInterceptor拦截器

这是一个很费解的问题,当我手动加上这个头信息时,OkHttp 不会自动解压 gzip 流,当我去掉时 OkHttp 又会自动解压 gzip 流了,秉着刨根究底的精神我翻看了源码,终于找到了原因。原来 OkHttp 在最终构建请求信息以及处理返回信息时,内部使用了一个叫做 BridgeInterceptor 的拦截器,该类的代码如下:

public final class BridgeInterceptor implements Interceptor {
  private final CookieJar cookieJar;
  public BridgeInterceptor(CookieJar cookieJar) {
    this.cookieJar = cookieJar;
  }
  @Override public Response intercept(Chain chain) throws IOException {
    Request userRequest = chain.request();
    Request.Builder requestBuilder = userRequest.newBuilder();
    RequestBody body = userRequest.body();
    if (body != null) {
      MediaType contentType = body.contentType();
      //自动增添加请求头 Content-Type
      if (contentType != null) {
        requestBuilder.header("Content-Type", contentType.toString());
      }
      long contentLength = body.contentLength();
      //如果传输长度不为-1,则表示完整传输
      if (contentLength != -1) {
        //设置头信息 Content-Length
        requestBuilder.header("Content-Length", Long.toString(contentLength));
        requestBuilder.removeHeader("Transfer-Encoding");
      } else {
        //如果传输长度为-1,则表示分块传输,自动设置头信息
        requestBuilder.header("Transfer-Encoding", "chunked");
        requestBuilder.removeHeader("Content-Length");
      }
    }
    if (userRequest.header("Host") == null) {
      requestBuilder.header("Host", hostHeader(userRequest.url(), false));
    }
    //如果没有设置头信息 Connection,则自动设置为 Keep-Alive
    if (userRequest.header("Connection") == null) {
      requestBuilder.header("Connection", "Keep-Alive");
    }
    // If we add an "Accept-Encoding: gzip" header field we're responsible for also decompressing
    // the transfer stream.
    boolean transparentGzip = false;
    if (userRequest.header("Accept-Encoding") == null && userRequest.header("Range") == null) {
      //如果我们没有在请求头信息里增加Accept-Encoding,在这里会自动设置头信息 Accept-Encoding = gzip
      transparentGzip = true;
      requestBuilder.header("Accept-Encoding", "gzip");
    }
    List<Cookie> cookies = cookieJar.loadForRequest(userRequest.url());
    if (!cookies.isEmpty()) {
      requestBuilder.header("Cookie", cookieHeader(cookies));
    }
    if (userRequest.header("User-Agent") == null) {
      requestBuilder.header("User-Agent", Version.userAgent());
    }
    Response networkResponse = chain.proceed(requestBuilder.build());
    HttpHeaders.receiveHeaders(cookieJar, userRequest.url(), networkResponse.headers());
    Response.Builder responseBuilder = networkResponse.newBuilder()
        .request(userRequest);
    //如果返回的头信息里Content-Encoding = gzip,并且我们没有手动在请求头信息里设置 Accept-Encoding = gzip,则会进行 gzip 解压数据流
    if (transparentGzip
        && "gzip".equalsIgnoreCase(networkResponse.header("Content-Encoding"))
        && HttpHeaders.hasBody(networkResponse)) {
      GzipSource responseBody = new GzipSource(networkResponse.body().source());
      Headers strippedHeaders = networkResponse.headers().newBuilder()
          .removeAll("Content-Encoding")
          .removeAll("Content-Length")
          .build();
      responseBuilder.headers(strippedHeaders);
      String contentType = networkResponse.header("Content-Type");
      responseBuilder.body(new RealResponseBody(contentType, -1L, Okio.buffer(responseBody)));
    }
    return responseBuilder.build();
  }
}

上面代码关键地方我做了注释,OkHttp 会额外的增加很多请求头信息,如果我们在代码里没有手动设置 Accept-Encoding = gzip ,那么 OkHttp 会自动处理 gzip 的解压缩;反之,你需要手动对返回的数据流进行 gzip 解压缩。

以上就是我的代码里 gzip 处理失败的根本原因了,更多关于OkHttp接收gzip压缩数据返回乱码的资料请关注我们其它相关文章!

(0)

相关推荐

  • Android 网络请求框架解析之okhttp与okio

    安卓网络请求 先看一下今天的大纲 导入okhttp和okio依赖 禁用掉明文流量请求的检查 添加访问权限 布局及代码实现 运行结果 下面是具体步骤 一.导入okhttp和okio的依赖 1.打开File-Project Structure-Dependencies, 2.选择自己的程序文件,点击加号,选择Library Dependency 3.搜索okhttp,选择Com.squareup.okhttp3,点击ok按钮,此时可能需要较长时间 4.okio同上 5.应用,确认 6.此时我们可以看

  • Java中的OkHttp使用教程

    目录 什么是OKHttp OkHttp基本使用 添加依赖 OkHttp工具类 使用案例 发送get请求 发送Post请求 发送异步请求 什么是OKHttp 一般在Java平台上,我们会使用Apache HttpClient作为Http客户端,用于发送 HTTP 请求,并对响应进行处理.比如可以使用http客户端与第三方服务(如SSO服务)进行集成,当然还可以爬取网上的数据等.OKHttp与HttpClient类似,也是一个Http客户端,提供了对 HTTP/2 和 SPDY 的支持,并提供了连接

  • Android OKHttp使用简介

    下面是官网给出的OKHTTP的特点: 支持HTTP/2, HTTP/2通过使用多路复用技术在一个单独的TCP连接上支持并发, 通过在一个连接上一次性发送多个请求来发送或接收数据: 如果HTTP/2不可用, 连接池复用技术也可以极大减少延时: 透明的Gzip处理降低了通信数据的大小 响应缓存完全避免了网络中的重复请求 使用Okio来简化数据的访问与存储,提高性能 如果您的服务器配置了多个IP地址, 当第一个IP连接失败的时候, OkHttp会自动尝试下一个IP OkHttp还处理了代理服务器问题和

  • 解决HttpPost+json请求---服务器中文乱码及其他问题

    好凌乱的题目,只是一些功能点的总结咯. 首先构造一个json对象用于存放数据,如果光加上header为utf-8就能解决中文就大错特错了... json对象可以put变量,也可以put对象.取的时候 obj.getJSONObject("people").getString("name") HttpClient httpClient = new DefaultHttpClient(); String url = "***"; HttpPost h

  • Java Http请求传json数据乱码问题的解决

    业务场景:调easyui的dialog打开一个弹窗,传参是用json封装的,而且有中文,然后在极速模式是正常的,在ie11测试发现中文出现乱码了 var params = JSON.stringify(writParamList); top.dialog({ id: 'noticeList', title:'列表', width:900, height:500, url:'${root}/notice/multiNoticeList.do?params='+params, onclose:fun

  • Java使用GZIP压缩导致HTTP请求返回乱码问题解决

    目录 原因 思路 解决方法 代码 关键部分 完整代码 原因 用Java调用雪球的API,结果返回的是乱码,一番研究后发现是因为返回的数据使用了GZIP压缩,需要先解压才能得到正确数据. 思路 使用了GZIP压缩的数据在响应头里会有一项名为content-encoding的参数,值为gzip. Java中可以使用.getHeaderField()读取响应头的参数. 如果没有这项参数,会返回null. 解决方法 用.getHeaderField("content-encoding")读取c

  • 解决OkHttp接收gzip压缩数据返回乱码问题

    目录 问题 请求头信息 BridgeInterceptor拦截器 问题 Retrofit 是现在最流行的网络开发框架之一,功能十分强大,但是最近确遇到一个十分坑的问题,现在记录下来,希望看到的人能注意下. 众所周知,在 HTTP 传输时是支持 gzip 压缩的,客户端发起请求时在请求头里增加 Accept-Encoding: gzip,服务端响应时在返回的头信息里增加 Content-Encoding: gzip,这表示传输的数据是采用 gzip 压缩的.默认情况下,传输内容是不压缩的,采用 g

  • 解决Ajax加载JSon数据中文乱码问题

    一.问题描述 使用zTree的异步刷新父级菜单时,服务器返回中文乱码,但项目中使用了SpringMvc,已经对中文乱码处理,为什么还会出现呢? 此处为的异步请求的配置: Java代码 async: { enable: true, url: basePath + '/sysMenu/listSysMenu', autoParam: ["id=parentId"] } SpringMvc中文字符处理: Java代码 <mvc:annotation-driven> <mvc

  • 解决RedisTemplate存储至缓存数据出现乱码的情况

    前言 RedisTemplate是Spring对于Redis的封装. 如上图所示,RedisTemplate中定义了对5种数据结构操作. redisTemplate.opsForList();//操作list redisTemplate.opsForValue();//操作字符串 redisTemplate.opsForCluster();//集群时使用 redisTemplate.opsForGeo();//地理位置时使用 redisTemplate.opsForHash();//操作hash

  • Nginx启用GZIP压缩网页传输方法(推荐)

    原理: 浏览器-请求--> 声明可以接受 gzip压缩 或 deflate压缩 或compress 或 sdch压缩 从http协议的角度看–请求头 声明 acceopt-encoding: gzip deflate sdch (是指压缩算法,其中sdch是google倡导的一种压缩方式,目前支持的服务器尚不多) 服务器–>回应-把内容用gzip方式压缩-->发给浏览器 浏览<-–解码gzip-–接收gzip压缩内容-- gzip配置的常用参数 参数 含义 gzip on/off

  • 将PHP程序中返回的JSON格式数据用gzip压缩输出的方法

    1.使用压缩与不使用压缩的HTTP输出比较 2.开启gzip 利用apache mod_deflate module 开启gzip 开启方法: sudo a2enmod deflate sudo /etc/init.d/apache2 restart 关闭方法: sudo a2dismod deflate sudo /etc/init.d/apache2 restart 3.设置需要gzip压缩输出的类型 json的输出类型是application/json,所以可以这样设置 在httpd.co

  • 解决nodejs中使用http请求返回值为html时乱码的问题

    今天用nodejs进行http请求时返回的数据是一个html文件,然后我还是按照以前解析json数据的方法.果不其然报错了:SyntaxError: Unexpected token  in JSON at position 0 没办法,只好换一种方法,将接受到的Buffer对象toString,然后打印出来发现是乱码. 第一感觉是编码问题,google一下然后看官方文档,总结三种方法: 1.toString 加编码格式作为参数. 2.使用iconv-lite 改变编码. 3.使用cheerio

  • 解决使用httpclient传递json数据乱码的问题

    今天用httpclient传输json数据,服务端接受数据 中文乱码,下面分别贴上修改前与修改后的代码以及原因分析 (1)修改前: client端 public String sendHttpPost(String httpUrl, String data) { // 创建post请求 HttpPost httpPost = new HttpPost(httpUrl); StringEntity entity; try { entity = new StringEntity(data); ent

  • PHP读取mssql json数据中文乱码的解决办法

    PHP及网页使用UTF-8编码,数据库是sql server2008,使用默认编码(936,即GBK编码) 当读取数据库数据时,使用php自带的json_encode()返回到前端,结果中文不显示. 解决办法如下: 这样,sql server 2008中的中文就可以在网页正常显示了. 如果要将中文正常插入到sql server 2008中,还要加入一条代码:$query = iconv("utf-8", "gbk//ignore", $query);//为了解决中文

  • 解决Python3 被PHP程序调用执行返回乱码的问题

    因为有一部分程序是 Python 写的,所以需要 PHP 调用 Python 程序返回数据,使用 exec 返回的是乱码 $data = "Geek程序员" $get = exec(/usr/bin/python3 main.py $data); 所以载调用 Python 程序之前需要转码 $data = "Geek程序员" $data = urlencode($data) $get = exec(/usr/bin/python3 main.py $data); m

随机推荐