PyTorch训练模型,内存泄露问题解决
2021/9/30 7:11:05
本文主要是介绍PyTorch训练模型,内存泄露问题解决,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
引言
- 最近采用PyTorch训练文本检测模型,遇到一个内存泄露问题,眼睁睁地看着内存一点点被占满,触发系统保护机制,被kill掉
可能出现问题地方
loss
求和未加item()
num_workers
过大- 大量使用list转tensor
最终解决方案
- 上面几个可能,我这里都已经尝试,但是还是没有解决我这里的内存泄漏问题
- 通过比较他人的训练代码,发现了一行神奇的代码:【出处DBNet】
data = copy.deepcopy(self.data_list[index])
- 我在我的
dataset.py
中加入这行代码,立马就没有内存泄漏了 - 但是原因尚不清楚,如果有清楚的小伙伴,欢迎留言交流。
这篇关于PyTorch训练模型,内存泄露问题解决的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-28pyqt 怎么打包整个项目-icode9专业技术文章分享
- 2024-09-28laravel Commands 创建带有参数的 Artisan 命令的步骤和示例-icode9专业技术文章分享
- 2024-09-28antd怎么实现渲染tiff图片-icode9专业技术文章分享
- 2024-09-28英文半角中划线和中文全角的中划线有什么区别-icode9专业技术文章分享
- 2024-09-28nvm npm 和node 他们之间有什么关系-icode9专业技术文章分享
- 2024-09-28Node Version Manager (nvm)使用教程-icode9专业技术文章分享
- 2024-09-28nvm命令太慢,是什么原因-icode9专业技术文章分享
- 2024-09-28Kotlin 如何增加、删除和修改 MutableStateFlow 中的值。-icode9专业技术文章分享
- 2024-09-28Kotlin的stateFlow.update 写法介绍-icode9专业技术文章分享
- 2024-09-28kotlin 怎么获取当前时间格式-icode9专业技术文章分享