PyTorch训练模型,内存泄露问题解决
2021/9/30 7:11:05
本文主要是介绍PyTorch训练模型,内存泄露问题解决,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
引言
- 最近采用PyTorch训练文本检测模型,遇到一个内存泄露问题,眼睁睁地看着内存一点点被占满,触发系统保护机制,被kill掉
可能出现问题地方
loss
求和未加item()
num_workers
过大- 大量使用list转tensor
最终解决方案
- 上面几个可能,我这里都已经尝试,但是还是没有解决我这里的内存泄漏问题
- 通过比较他人的训练代码,发现了一行神奇的代码:【出处DBNet】
data = copy.deepcopy(self.data_list[index])
- 我在我的
dataset.py
中加入这行代码,立马就没有内存泄漏了 - 但是原因尚不清楚,如果有清楚的小伙伴,欢迎留言交流。
这篇关于PyTorch训练模型,内存泄露问题解决的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-22怎么通过控制台去看我的页面渲染的内容在哪个文件中呢-icode9专业技术文章分享
- 2024-12-22el-tabs 组件只被引用了一次,但有时会渲染两次是什么原因?-icode9专业技术文章分享
- 2024-12-22wordpress有哪些好的安全插件?-icode9专业技术文章分享
- 2024-12-22wordpress如何查看系统有哪些cron任务?-icode9专业技术文章分享
- 2024-12-21Svg Sprite Icon教程:轻松入门与应用指南
- 2024-12-20Excel数据导出实战:新手必学的简单教程
- 2024-12-20RBAC的权限实战:新手入门教程
- 2024-12-20Svg Sprite Icon实战:从入门到上手的全面指南
- 2024-12-20LCD1602显示模块详解
- 2024-12-20利用Gemini构建处理各种PDF文档的Document AI管道