Go 内存分配管理

一、问题引入

现象:在实际工作项目中,golang项目经常内存报警,现象为在流量增大,或传入很大文件的情况下算法worker内存降低到一定限度之后(100mb左右),过一段时间才能内存才能自动恢复。

  • go内存管理机制,go自己本身会管理内存,释放的内存不会立即归还给操作系统,在一定时间之后才会归还给操作系统,过早的释放内存归还给操作系统会降低性能。
  • 内存泄漏,go调用cgo算法模块时,导致了内存泄漏
  • 进程占用的内存过大导致进程挂掉,并释放了内存,supervisor自动重启了进程,内存曲线恢复正常

二、几个基本概念

1.rss,vss解释

对于ram内存的使用,实际是os kernel来控制的。

  • rss(resident set size)表示该进程分配的占用ram的内存大小,不包括交互分区内存,包括共享库占用的内存,栈内存,堆内存
  • vsz(virtual memory size)表示该进程分配的虚拟内存大小,包括进程可以访问的所有内存,包括交换分区,共享内存

举例说明rss,vss:

如果一个进程,程序的大小有 500k,链接的共享库大小有 2500k,堆栈内存共有 200k,其中 100k 进入了交换分区。进程实际加载了共享库中的 1000k 的内容,以及自己程序的中的 400k 的内容。请问 rss 和 vsz 应是多少?rss: 400k + 1000k + 100k = 1500k vsz: 500k + 2500k + 200k = 3200k

三、go内存管理机制

1.go runtime内存延迟归还

go是一种高级语言,自带gc。内存的分配和回收都是自动的被垃圾回收器所执行,当某个对象内存变成不可达状态时(unreachable)。垃圾回收器则将其回收。

go中空闲的内存,并不意味着立即归还给操作系统。空闲的内存可以被重新利用。因此go语言中,即使某些对象被释放了,操作系统的内存使用并没有下降。这是因为go的内存管理器,将其标为free,并可以重新利用。

go runtime不会立刻归还内存给操作系统,内存在大约5分钟左右没有被使用时,才会归还给操作系统。

例如:在处理http请求时读取httpbodybytes.buffer中,处理完httpbody的内容之后,并不会立刻释放内存给os,而是将这些内存对下一个http请求进行内存的复用。

编写如下:简单的http服务,并使用ab进行压测可以验证go gc的延迟归还内存给操作系统:

初始:

压测后:

 5min后:

可以看到rss由3480到12908在到4816,结合free -m可以看到内存一样的变化,因此验证了golang的内存管理的延迟归还特性。

2.强制归还内存

该函数强制尽可能多的将内存归还给操作系统。不推荐手动调用释放内存,

的操作在后台进程runtime来负责执行,定期归还内存给操作系统。

到此这篇关于go 内存分配管理的文章就介绍到这了,更多相关go 内存管理内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com!

(0)
上一篇 2022年3月22日
下一篇 2022年3月22日

相关推荐