解决golang内存溢出的方法

最近在项目中出现golang内存溢出的问题，master刚开始运行时只有10多M，运行几天后，竟然达到了10多个G。而且到凌晨流量变少内存也没有明显降低，内存状态呈现一种很不健康的曲线。

像这种情况肯定是golang内存溢出了，为此我持续排查了两天，终于找到问题所在，特此记录下。

准备工作

  • 一台较好的环境测试机,单台运行无污染。
  • 压测工具，无论服务是http还是websocket服务，都必须准备好压测工具模拟最真实的用户场景。
  • 将master引入net/http/pprof包，通过http访问获得goroutine、heap信息。
//引入pprof
import _"net/http/pprof"
//在main中加入
go func() {
  log.Println(http.ListenAndServe("localhost:9999", nil))
}()

浏览器访问: http://127.0.0.1:9999/debug/pprof/

获取goroutine信息 http://10.13.132.91:9999/debug/pprof/goroutine?debug=2

获取heap信息 http://10.13.132.91:9999/debug/pprof/heap?debug=2

使用golang tool进行统计分析,go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap。输入top10可以看出前十占用内存情况，这里我是直接输入png导出图片来查看，以便以后比较。还有两个参数可以选择，-inuse_space顾名思义是正在使用的内存，-alloc_space是已经分配的内存，本次我是一直用-inuse_space进行分析。

开始进行分析

go是一门自己gc的语言，大概两分钟会gc一次。如果有内存泄漏，无非就是两种情况。

  1. 有goroutine泄漏，goroutine“飞”了，zombie goroutine没有结束，这个时候在这个goroutine上分配的内存对象将一直被这个僵尸goroutine引用着，进而导致gc无法回收这类对象，内存泄漏。
  2. 有一些全局（或者生命周期和程序本身运行周期一样长的）的数据结构意外的挂住了本该释放的对象，虽然goroutine已经退出了，但是这些对象并没有从这类数据结构中删除，导致对象一直被引用，无法被回收。

排除掉goroutine泄漏

首先，我利用压测工具对server进行100个websocket连接，模拟用户浏览行为，然后关闭连接。打开浏览器查看goroutine数量，发现新起的goroutine全部已经销毁，没有观察到有泄漏的goroutine，因此排除此情况。

确定是全局变量无回收

排除goroutine泄漏，只能是由全局状态变量引起的。再次用压测工具进行压测然后关闭，使用观察内存情况。使用go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap输入png导出（在这种情况下，需要等程序gc完再导出，建议等10分钟左右。）

发现问题所在

每次都会遗留这么大概0.5M的内存空间出来，就奇怪，明明整个goroutine退出为什么还有会内存占用?相应的全局变量也会删除该地方的引用。等一下，全局变量，难道是删除的时候没做好配对导致没有真正删除该引用吗？去查了下代码，果然是没有删除引用导致的，至此问题解决。

这里面有个项目的坑，上报日志的key不是根据这个len(map)计算出，导致上报日志的时候以为删除了该key。

后记

为什么会花了两天时间，看起来上述流程并不复杂。

实际上你要完全排除掉goroutine泄漏需要花较长的时间去对比的，查看哪些goroutine是新起来没有关闭。

在使用-inuse_space或者-alloc_space分析，也是很纠结，这些看起来也并不完全与表现对应上。实际上用-inuse_space是较为直观的，可以展现出程序真正在使用的（RSS）。Go 管理内存的方式可能与你以前使用的方式不太一样。它会在一开始就保留一大块 VIRT，而 RSS 与实际内存用量接近。RSS 和 VIRT 之间有什么区别呢？VIRT 或者虚拟地址空间大小是程序映射并可以访问的内存数量。RSS 或者常驻大小是实际使用的内存数量。因此用-inuse_space导出在png图上的统计中，与top上的res值是大致相同。

还有就是每次做压测或者等待golang 完全gc都要耗费不少时间，这样也会排查增加难度。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 解决golang内存溢出的方法

    最近在项目中出现golang内存溢出的问题,master刚开始运行时只有10多M,运行几天后,竟然达到了10多个G.而且到凌晨流量变少内存也没有明显降低,内存状态呈现一种很不健康的曲线. 像这种情况肯定是golang内存溢出了,为此我持续排查了两天,终于找到问题所在,特此记录下. 准备工作 一台较好的环境测试机,单台运行无污染. 压测工具,无论服务是http还是websocket服务,都必须准备好压测工具模拟最真实的用户场景. 将master引入net/http/pprof包,通过http访问获

  • 解决webpack多页面内存溢出的方法示例

    因为自己的项目是基于vue-cli3进行开发,所以这里只讨论这种情况下的解决办法 在进行多页面开发的时候,项目刚开始阶段,因为文件较少,所以代码编译速度还行,但是随着项目逐渐增大,webpack编译的速度越来越慢,并且经常出现内存溢出的情况. 下面就是几种尝试的方法,加快编译的速度 增加Node运行内存 在Node中通过JavaScript使用内存时只能使用部分内存(64位系统下约为1.4 GB,32位系统下约为0.7 GB).所以不管电脑实际的运行内存是多少,Node在运行代码编译的时候,使用

  • linux解决Tomcat内存溢出的问题

    Tomcat本身不能直接在计算机上运行,需要依赖于操作系统和一个JAVA虚拟机.JAVA程序启动时JVM会分配一个初始内存和最大内存给程序.当程序需要的内存超出内存的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃. 一.常见的Java内存溢出有以下三种: 1. java.lang.OutOfMemoryError: Java heap space 即JVM Heap溢出 解释说明:JVM在启动的时候会自动设置JVM Heap的值,JVM堆的设置是指java程序运行过程中JVM可以调配使用的

  • python 含子图的gif生成时内存溢出的方法

    今天想用python做个demo,含两个子图的动态gif,代码如下: import matplotlib.pyplot as plt import imageio,os import matplotlib # plt.ion() fig=plt.figure(0) ax1=plt.subplot(121) ax2=plt.subplot(122) ax1.set_title('input') ax2.set_title('GT') for i in range(1000): img1=plt.i

  • Android加载图片内存溢出问题解决方法

    1. 在Android软件开发过程中,图片处理是经常遇到的. 在将图片转换成Bitmap的时候,由于图片的大小不一样,当遇到很大的图片的时候会出现超出内存的问题,为了解决这个问题Android API提供了BitmapFactory.Options这个类. 2. 由于Android对图片使用内存有限制,若是加载几兆的大图片便内存溢出.Bitmap会将图片的所有像素(即长x宽)加载到内存中,如果图片分辨率过大,会直接导致内存OOM,只有在BitmapFactory加载图片时使用BitmapFact

  • 解决vue内存溢出报错的问题

    解决vue内存溢出报错的问题

    目录 vue内存溢出报错 vue项目打包内存溢出问题踩坑 打包时一直报错 从网上搜的答案还是踩坑了 最终针对我的有效方案 vue内存溢出报错 '"node --max-old-space-size=10240"' 不是内部或外部命令,也不是可运行的程序或批处理文件.npm ERR! code ELIFECYCLEnpm ERR! errno 9009npm ERR! mscodevue@3.0.2 dev: `vue-cli-service serve`npm ERR! Exit st

  • Android 异步获取网络图片并处理导致内存溢出问题解决方法

    测试环境为Adnroid 2.1以上. 1.AndroidManifest.xml 权限配置: 添加互联网访问权限: 复制代码 代码如下: <uses-permission android:name="android.permission.INTERNET" /> 2.异步图片类 ImageDownloadTask 复制代码 代码如下: import java.io.ByteArrayOutputStream; import java.io.IOException; imp

  • tomcat6.0 /7.0安装版内存溢出设置方法

    tomcat6.0 /7.0安装版内存溢出设置方法

    下面是使用服务形式启动tomcat6.0的内存配置方法: D:\Program Files\Apache Software Foundation\Tomcat 6.0\bin下打开tomcat6w.exe,切换到java选项卡 在Java Options选项的最后面加入(这个和修改注册表的效果一样): -XX:PermSize=256M -XX:MaxPermSize=386m -Xms1024m -Xmx1024m (后面都不能有空格哦,不然会报错,一般情况下PermSize和Xmx之和不能超

  • 解决Pytorch内存溢出,Ubuntu进程killed的问题

    pytorch显存越来越多的一个原因 optimizer.zero_grad() loss.backward() optimizer.step() train_loss += loss 参考了别人的代码发现那句loss一般是这样写 loss_sum += loss.data[0] 这是因为输出的loss的数据类型是Variable.而PyTorch的动态图机制就是通过Variable来构建图.主要是使用Variable计算的时候,会记录下新产生的Variable的运算符号,在反向传播求导的时候进

  • Android避免内存溢出（Out of Memory）方法汇总

    避免内存溢出的方法,主要是对以下三个方面对程序进行优化 内存引用 在处理内存引用之前,我们先来复习下什么是强引用.软引用.弱引用.虚引用 强引用:强引用是使用最普遍的引用.如果一个对象具有强引用,那垃圾回收器绝不会回收它. 当内存空间不足,Java虚拟机宁愿抛出OutOfMemoryError错误,使程序异常终止,也不会靠随意回收具有强引用的对象来解决内存不足的问题. 软引用:如果一个对象只具有软引用,但内存空间足够时,垃圾回收器就不会回收它:直到虚拟机报告内存不够时才会回收, 只要垃圾回收器没

随机推荐