解决golang处理http response碰到的问题和需要注意的点

在处理http response的时候,偶然发现,body读取之后想再次读取的时候,发现读不到任何东西。

见下方代码:

response, err = ioutil.ReadAll(resp.Body)
  if err != nil {
    log.Println("ioutil ReadAll failed :", err.Error())
    return
  }

之后如果想再次ioutil.ReadAll(resp.Body)的时候会发现读到的是空。于是我决定去看一下这个resp.Body,发现它是一个io.ReadCloser接口,包含了Reader和Closer接口:

type ReadCloser interface {
  Reader
  Closer
}

于是我想到了文件,它也实现了io.Reader接口,所以用读文件试了下:

func readFile(path string)string{
  fi,err := os.Open(path)
  if err != nil{panic(err)}
  defer fi.Close()
  byte1,err := ioutil.ReadAll(fi)
  fmt.Println(string(byte1))
  byte2,err := ioutil.ReadAll(fi)
  fmt.Println(string(byte2))
  return string(fd)
}

发现结果是一致的,fmt.Println(string(fd2))打印不出任何结果。

我猜测应该是ioutil.ReadAll()是有记录偏移量,所以会出现第二次读取读不到的情况。

作为client端处理response的时候会碰到这个问题,作为server端要处理request body的时候,一样会遇到此问题,那么该如何解决这个问题呢?

有一个方法是再造一个io.ReadCloser,如下:

  fi2:= ioutil.NopCloser(bytes.NewBuffer(byte1))
  byte3,err := ioutil.ReadAll(fi2)
  fmt.Println(string(byte3))

此外,作为client端处理response的时候,有一点要注意的是,body一定要close,否则会造成GC回收不到,继而产生内存泄露。其实在go的官方源码注释中,也明确注明了response body需要调用方进行手动关闭:It is the caller's responsibility to close Body.

至于response body为什么需要进行关闭,这篇文章进行了解释:

https://www.jb51.net/article/146275.htm

那么作为client端生成的request body,需不需要手动关闭呢,答案是不需要的,net/http中的func (c *Client) Do(req *Request) (*Response, error)会调用Close()。

同样的,作为server端接收的request body,也是需要关闭,由Server自动进行关闭,The Server will close the request body. The ServeHTTP Handler does not need to.

补充:golang net/http包之设置 http response 响应头详解

01 设置WriteHeader的顺序问题

之前遇到个问题,在一段代码中这样设置WriteHeader,最后在header中取Name时怎么也取不到。

w.WriteHeader(201)

w.Header().Set("Name", "my name is smallsoup")

用 golang 写 http server 时,可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容。但是需要特别注意的是:某些时候不仅要修改 response的header ,还要修改 response的StatusCode。修改response的StatusCode 可以通过:w.WriteHeader(code) 来实现,例如:

w.WriteHeader(404)

如果这两种修改一起做,就必须让 w.WriteHeader 在所有的 w.Header.Set 之后,因为 w.WriteHeader 后 Set Header 是无效的。

而且必须是在 w.Write([]byte("HelloWorld")) 之前,否则会报 http: multiple response.WriteHeader calls 因为其实调用w.Write的时候也会调用WriteHeader()方法,然后将w.wroteHeader置为true,再次调WriteHeader()则会判断wroteHeader,如果是true则会报错,而且本次调用不生效。

可以看以下源码说明WriteHeader必须在Write之前调用。

func (w *response) WriteHeader(code int) {
 if w.conn.hijacked() {
  w.conn.server.logf("http: response.WriteHeader on hijacked connection")
  return
 }
//第二次WriteHeader()进来满足if条件就报错直接return
 if w.wroteHeader {
  w.conn.server.logf("http: multiple response.WriteHeader calls")
  return
 }
//第一次write()进来这里会将w.wroteHeader置为true
 w.wroteHeader = true
 w.status = code
 if w.calledHeader && w.cw.header == nil {
  w.cw.header = w.handlerHeader.clone()
 }
 if cl := w.handlerHeader.get("Content-Length"); cl != "" {
  v, err := strconv.ParseInt(cl, 10, 64)
  if err == nil && v >= 0 {
   w.contentLength = v
  } else {
   w.conn.server.logf("http: invalid Content-Length of %q", cl)
   w.handlerHeader.Del("Content-Length")
  }
 }
}

2. go会对Header中的key进行规范化处理

go会对Header中的key进行规范化处理,所以在获取response的Header中的K,V值时一定要小心。

reader.go中非导出方法canonicalMIMEHeaderKey中有这样一段,会将header的key进行规范化处理。

1)reader.go中定义了isTokenTable数组,如果key的长度大于127或者包含不在isTokenTable中的字符,则该key不会被处理。

2)将key的首字母大写,字符 - 后的单词的首字母也大写。

分析如下源码,可以解释对key的大写处理:

for i, c := range a {
  // 规范化:首字母大写
  // - 之后单子的首字母大写
  // 如:(Host, User-Agent, If-Modified-Since).
  if upper && 'a' <= c && c <= 'z' {
   //大写转小写
   c -= toLower
  } else if !upper && 'A' <= c && c <= 'Z' {
   //小写转大写
   c += toLower
  }
  //重新给key数组赋值
  a[i] = c
  //设置大小写标志位
  upper = c == '-' // for next time
}

正确的调用方式:

服务器:

myServer.go

package main
import (
 "net/http"
)
func main() {
 http.HandleFunc("/", func (w http.ResponseWriter, r *http.Request){
  w.Header().Set("name", "my name is smallsoup")
  w.WriteHeader(500)
  w.Write([]byte("hello world\n"))
 })
 http.ListenAndServe(":8080", nil)
}

客户端:

myHttp.go:

package main
import (
 "fmt"
 "io/ioutil"
 "net/http"
)
func main() {
 myHttpGet()
}
func myHttpGet() {
 rsp, err := http.Get("http://localhost:8080")
 if err != nil {
  fmt.Println("myHttpGet error is ", err)
  return
 }
 defer rsp.Body.Close()
 body, err := ioutil.ReadAll(rsp.Body)
 if err != nil {
  fmt.Println("myHttpGet error is ", err)
  return
 }
 fmt.Println("response statuscode is ", rsp.StatusCode,
     "\nhead[name]=", rsp.Header["Name"],
      "\nbody is ", string(body))
}

1.运行服务器

go run myServer.go

2.运行客户端

go run myHttp.go

输出如下:statuscode是我们设置的500,Name也取到了值。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我们。如有错误或未考虑完全的地方,望不吝赐教。

(0)

相关推荐

  • 解决Goland中利用HTTPClient发送请求超时返回EOF错误DEBUG

    今天解决了一个疑难杂症,起因是之前代理某内部API接口,请求先是出现卡顿,超时后报EOF错误. 但奇怪的是线上测试环境确是没问题的. Google了一下,有人说可能是由于重复请求次数过多导致,应该设置req.Close属性为true,这样不会反复利用一次连接. 尝试该操作后依然无法解决问题,遂求助同事璟文. 经过大牛的一番调查后,发现时TCP超时,连接断了.至于原因,是由于Goland设置了代理...Orz 不过经历这次事件我也学到了利用MAC自带的活动监视器,来查看网络行为,璟文是看到了接口的

  • Golang发送http GET请求的示例代码

    使用标准库http来实现 package tools import ( "io/ioutil" "net/http" ) func Get(url string)string{ res, err :=http.Get(url) if err != nil { return "" } robots, err := ioutil.ReadAll(res.Body) res.Body.Close() if err != nil { return &qu

  • 解决golang http重定向失效的问题

    最近在学习GoLang,在使用http重定向的时候发现了一个很有趣的现象,在这里记录一下. r.GET("/index", func(c *gin.Context) { c.Redirect(http.StatusMovedPermanently, "http://www.baidu.com/") }) 本来写了这么一段代码,将我的路由重定向到"百度",第一次试验成功了.之后当我想重新定向到其它网站,或者不重定向而试验其它逻辑的时候,发现在浏览器

  • 解决golang处理http response碰到的问题和需要注意的点

    在处理http response的时候,偶然发现,body读取之后想再次读取的时候,发现读不到任何东西. 见下方代码: response, err = ioutil.ReadAll(resp.Body) if err != nil { log.Println("ioutil ReadAll failed :", err.Error()) return } 之后如果想再次ioutil.ReadAll(resp.Body)的时候会发现读到的是空.于是我决定去看一下这个resp.Body,发

  • golang设置http response响应头与填坑记录

    1. 设置WriteHeader的顺序问题 之前遇到个问题,在一段代码中这样设置WriteHeader,最后在header中取Name时怎么也取不到. w.WriteHeader(201) w.Header().Set("Name", "my name is smallsoup") 用 golang 写 http server 时,可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容.但是需要特别注意的

  • 完美解决golang go get私有仓库的问题

    解决golang go get gitlab私有仓库的问题(1.13) 1. 问题描述 require ( git.xxxxxxx.com/middle/user v0.0.1 ) go mod tidy 导入包失败 go get git.xxxxxxx.com/middle/user 失败 go build 有CHECKSUM过程,无法编译 2. 现象分析 go get 不支持代码支持之外的仓库.并且git 调用链过程采取了https 下载过程如果机器设置了GOPROXY,会导致下载失败 编译

  • 解决 Golang VS Code 插件下载安装失败的问题

    最近开始学Go语言,但是在使用VS Code 编写Go的时候出现了插件无法下载的问题.最初我的解决办法也是从github下载再安装,但是我并不喜欢这种做法,因为我要在多台pc上使用VS Code编写Go,所以我觉要重复多次很麻烦,而且插件的安装也非常麻烦,我曾经一度想放弃学习Go语言,没错因为安装插件很麻烦.在经过我多次的查找最终找到了http://goproxy.cn/,这是Go的国内镜像,使用了这个就可以结局Go插件无法下载的问题. (http://goproxy.cn/ 文档简介,方便以后

  • 解决Golang json序列化字符串时多了\的情况

    我们在对外提供API接口,返回响应的时候,很多时候需要使用如下的数据结构 type Response struct { Code int `json:"code"` Msg string `json:"msg"` Data interface{} `json:"data"` } 该API接口返回一个状体码,状态信息,以及具体的值.但是具体的值可能根据各个接口的不同而不同. 在实际的开发过程中我们可能会得到一个实际的数据值,并将这个值赋值给data

  • 解决Golang在Web开发时前端莫名出现的空白换行

    问题: 在使用Golang做Web开发时,有时候渲染出来的模板在前台显示时会出现一些奇怪的空白换行,具体特征就是查看css样式表并没有相关定义的空白部分. 分析: 查看出现问题页面的网页源代码,复制空白换行部分转码为Unicode编码,发现其中包含了\u2028这样的字符[图一].  [图一] 另外,直接在浏览器检查里边的html选择Edit as html,也可发现在空白处存在小红点,鼠标移上会直接显示该字符是\u2028[图二].查阅资料发现,这样的换行符在JavaScript中并不支持.

  • 6行代码快速解决golang TCP粘包问题

    前言 什么是TCP粘包问题以及为什么会产生TCP粘包,本文不加讨论.本文使用golang的bufio.Scanner来实现自定义协议解包. 下面话不多说了,来一起看看详细的介绍吧. 协议数据包定义 本文模拟一个日志服务器,该服务器接收客户端传到的数据包并显示出来 type Package struct { Version [2]byte // 协议版本,暂定V1 Length int16 // 数据部分长度 Timestamp int64 // 时间戳 HostnameLength int16

  • golang中为什么Response.Body需要被关闭详解

    前言 本文主要介绍了关于golang中Response.Body需要被关闭的相关内容,文中通过示例代码介绍的非常详细,对各位学习或者使用golang具有一定参考学习价值,下面话不多说了,来一起看看详细的介绍吧 Body io.ReadCloser The http Client and Transport guarantee that Body is always non-nil, even on responses without a body or responses with a zero

  • 解决golang读取http的body时遇到的坑

    当服务端对http的body进行解析到map[string]interface{}时,会出现cli传递的是int类型,而服务端只能断言成float64,而不能将接收到的本该是int类型的直接断言为int cli func main(){ url:="http://127.0.0.1:8335/api/v2/submit" myReq:= struct { ProductId int `json:"product_id"` Mobile string `json:&q

  • 解决golang sync.Wait()不执行的问题

    goroutine 似乎不用解释太多,可以利用它实现多线程,也可以利用它来实现异步事件. 在使用关键字go的过程中,常常会将用到sync.WaitGroup,如下一段代码. package main import ( "fmt" "sync" "time" ) func Run() { var wg = &sync.WaitGroup{} go func() { wg.Add(1) fmt.Println("halo world

随机推荐