在ubuntu里跑深度学习的时候内存不足了,python程序直接自动结束,没有任何报错信息。
查阅资料后推测是内存不足的原因,可我的内存条是16+8=24G,加上ubuntu的交换内存2G,一共有26G。之前跑代码从来没有出现过自动崩溃的情况。
但是当我debug并查看运行时的内存时,我发现确实是内存占用接近90%的时候,程序自动结束了。
想过把8G内存条换成16G的,一来囊中羞涩,二来等到货还要两天时间。
突然想到可以扩展交换内存!!!
https://www.addictivetips.com/ubuntu-linux-tips/ubuntu-increase-swap-guide/https://www.addictivetips.com/ubuntu-linux-tips/ubuntu-increase-swap-guide/为了扩展交换内存,我查阅了中英文的相关资料,主体内容大差不差,但是我都不敢采用。
因为我硬盘里装了双系统,windows和ubuntu。这些教程都没有交代扩展的交换内存取自哪里,所以我担心会损毁windows系统的资料。
看到上面这个教程后,我放心了,因为我知道扩展的内存取自何处了。
首先需要知道,原先默认的扩展内存取自何处。
进入根目录/,可以看到有个叫swapfile的文件夹,这个就是用来存放交换内存的地方。
选中之后可以看到他有13.8GB
在命令行输入free -h,可以看到交换内存总共有12GB,使用了1.7GB,剩余11GB。这里和上面的不一样可能是计算方式不同。
扩展内存前还有还需要确保一件事:根目录拥有的空间还有空闲。这里我的根目录是在Computer里,拥有90GB,还有9.6GB空闲。
我们要扩展交换内存,基本步骤如下:
首先进入根目录
cd /
输入如下命令,禁用交换内存
sudo swapoff /swapfile
接着输入如下命令,删除swapfile文件夹
sudo rm swapfile
申请交换内存空间,以12GB为例
sudo dd if=/dev/zero of=/swapfile bs=1G count=12
申请权限
sudo chmod 600 /swapfile
创建swapfile文件夹
sudo mkswap /swapfile
启用交换内存
sudo swapon /swapfile
再用free -h命令就可以查看到扩充后的交换内存了。
扩展了交换内存之后,运行之前的代码就不会崩溃了。
当物理内存超过系统默认阈值时,会自动使用交换内存协调。
因为我的python代码使用了tqdm进度条,可以明显察觉到使用交换内存时会出现进度卡顿的情况,毕竟磁盘的读写速度远不是内存条可以比拟的,交换内存实际上就是在磁盘上划分一块区域来存放内存条中存放不下的数据。
所以内存不够的最优解是加内存条,折中解是扩展交换内存,下下策是修改代码。
最后提一嘴,因为我的ubuntu系统是装作固态硬盘里的,所以根目录是在固态硬盘上,申请的交换内存也是在固态硬盘上。如果你的系统是在机械硬盘上,交换内存也会在机械硬盘上,而机械硬盘的读写速度是远低于固态硬盘的,更是远远低于内存条,所以系统在将内存中的数据暂时移动到交换内存上时,很可能会出现非常卡顿的情况。
所以,如果你的系统装在机械硬盘上,那优先考虑加根或换根内存条吧。或许可以把交换内存设置在固态硬盘上?我在查阅资料的过程中没见到过这种情况。