pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1
2021/10/3 7:13:28
本文主要是介绍pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
使用pytorch的来保存变量的时候,被Ubuntu系统强制杀死,其实原因主要就是因为内存不够,这是Ubuntu的一种自我保护机制,为了防止还加载大数据时内存不够而导致系统崩溃,所以采取的一种系统自我保护措施,我大概是保存了20个G的数据,用torch.save保存成pt文件,都加载完了,结果save的时候被杀死。
解决方法:
设置虚拟内存swap。其实目的就是为了在内存条的容量不够的时候,用硬盘上临时画出来的空间来代替内存条。当然,swap肯定是不如内存条读写快的,所以要费劲一些,但是可以解决内存爆掉的问题呢。
Ubuntu扩充swap的方法:
1、找个固定的位置,新建一个文件夹
mkdir swap
2、设置虚拟内存大小,count就是内存大小,单位是G,这个就是16G,执行成功的结果大概就是记录了啥啥的写入
sudo dd if=/dev/zero of=swapfile bs=1073741824 count=16
3、这步执行成功会输出一个UUID的号
sudo mkswap swapfile
4、最后一步,这一步执行时间较长,不要着急,耐心等待,
sudo swapon swapfile
5、成功后使用top命令测试下,swap那一项就是虚拟内存空间
top
这篇关于pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-14获取参数学习:Python编程入门教程
- 2024-11-14Python编程基础入门
- 2024-11-14Python编程入门指南
- 2024-11-13Python基础教程
- 2024-11-12Python编程基础指南
- 2024-11-12Python基础编程教程
- 2024-11-08Python编程基础与实践示例
- 2024-11-07Python编程基础指南
- 2024-11-06Python编程基础入门指南
- 2024-11-06怎么使用python 计算两个GPS的距离功能-icode9专业技术文章分享