pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1

2021/10/3 7:13:28

本文主要是介绍pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

使用pytorch的来保存变量的时候,被Ubuntu系统强制杀死,其实原因主要就是因为内存不够,这是Ubuntu的一种自我保护机制,为了防止还加载大数据时内存不够而导致系统崩溃,所以采取的一种系统自我保护措施,我大概是保存了20个G的数据,用torch.save保存成pt文件,都加载完了,结果save的时候被杀死。
解决方法:
设置虚拟内存swap。其实目的就是为了在内存条的容量不够的时候,用硬盘上临时画出来的空间来代替内存条。当然,swap肯定是不如内存条读写快的,所以要费劲一些,但是可以解决内存爆掉的问题呢。
Ubuntu扩充swap的方法:
1、找个固定的位置,新建一个文件夹

mkdir swap

2、设置虚拟内存大小,count就是内存大小,单位是G,这个就是16G,执行成功的结果大概就是记录了啥啥的写入

sudo dd if=/dev/zero of=swapfile bs=1073741824 count=16

3、这步执行成功会输出一个UUID的号

sudo mkswap swapfile

4、最后一步,这一步执行时间较长,不要着急,耐心等待,

sudo swapon swapfile

5、成功后使用top命令测试下,swap那一项就是虚拟内存空间

top


这篇关于pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程