Python内存泄漏排查指南，这5个工具帮了大忙！

上周我写的那个爬虫程序又崩了。排查了一天，发现是内存泄漏。Python有垃圾回收机制，但它不是万能的。我踩过的坑，你大概率也踩过。今天直接说五个我用过的工具，哪个能救急一看便知。

第一个工具：tracemalloc。标准库自带的，不用装任何东西。这个工具能统计每行代码分配了多少内存。我一般这么用：在怀疑有泄漏的地方加tracemalloc.start()，跑一段时间后调用tracemalloc.get_traced_memory()看峰值。有一次发现某个循环里反复创建字典没释放，就是靠它定位到的。优点是很轻量，适合快速验证。缺点是只能跟踪Python对象，C扩展泄漏它管不了。

第二个工具是memory_profiler。这个需要pip安装。它能按函数显示内存使用量。用法很简单，在函数上面加个@profile装饰器，然后命令行跑python -m memory_profiler your_script.py。输出结果会告诉你每一行内存增减了多少。有次一个同事写的业务逻辑里有个死循环不断追加列表，就是靠这个工具发现某行内存忽高忽低的。图形化版本还能生成时间线，看内存是否反复增长。

第三个工具：objgraph。这个适合找哪些对象没被回收。比如你怀疑某个类实例占着内存不放，可以调用objgraph.show_growth()打印出每种对象的增长数。更绝的是用objgraph.show_backrefs()生成对象引用图。有一次线上服务内存涨到8G，我截了个图，发现一堆没关闭的socket连接对象互相引用，形成了循环。objgraph是纯Python的，缺点是大项目里引用图可能乱得没法看。

第四个是guppy。它能做堆分析。用法是from guppy import hpy; hp = hpy(); heap = hp.heap()，然后打印heap。输出会告诉你每种类型的对象占多少内存。有次我发现自己写的缓存类没有设置过期机制，导致所有历史查询结果都存在内存里。guppy直接告诉我那类对象占了80%的堆。这工具适合全局排查。不过接口不太友好，文档也少，需要自己多试几次。

第五个是PyCharm自带的Profile工具。如果你用IDE，这是最省心的。点一下运行按钮旁边的“Profile”图标，代码跑完会生成一个火焰图。鼠标悬停在某个函数上能看到具体内存和时间消耗。有次我优化一个数据处理程序，发现某个正则匹配函数调用次数异常高，点进去一看，是循环里面每次都编译了一次正则。改完后内存直接降了一半。这工具优点是可视化好，缺点是占用资源大，小项目无所谓，大型项目跑一次可能卡半天。

说几个处理泄漏的实操经验。第一，确保自定义类定义了__del__方法时，不会抛出异常。第二，使用weakref处理缓存场景，让对象能被正常回收。第三，给大对象加上__slots__减少内存开销。第四，始终记得关闭文件、数据库连接。第五，用gc.set_debug(gc.DEBUG_LEAK)查看垃圾回收器认为的泄漏对象。

工具只是辅助。真正想减少泄漏，写代码时就得注意。每个变量用完就释放，不要在全局域保存大对象的引用。用with语句自动管理上下文。这些习惯比事后排查更重要。你用的哪个工具最顺手？有空可以聊聊你遇到过最奇葩的内存泄漏案例。

以上就是“Python内存泄漏排查指南，这5个工具帮了大忙！”的详细内容，想要了解更多Python教程欢迎持续关注编程学习网。