模型训练前后显卡占用对比、多卡训练GPU占用分析【一文读懂】

🥇 版权: 本文由【墨理学AI】原创首发、各位读者大大、敬请查阅、感谢三连
🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

本次博文简单记录，多卡训练任务中 ，各个 GPU 资源占用情况 ，内容较为基础，后续有新的心再继续补充

• 推荐文章： 指定GPU运行和训练 python程序 、深度学习单卡、多卡 训练GPU设置【一文读懂】

训练前

---

  2  A100-PCIE-40GB      Off  | 00000000:39:00.0 Off |                    0 |
| N/A   26C    P0    37W / 250W |  14568MiB / 40536MiB |      0%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+
|   3  A100-PCIE-40GB      Off  | 00000000:3D:00.0 Off |                    0 |
| N/A   25C    P0    39W / 250W |  11497MiB / 40536MiB |     26%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+
|   4  A100-PCIE-40GB      Off  | 00000000:9C:00.0 Off |                    0 |
| N/A   35C    P0   104W / 250W |  12920MiB / 40536MiB |     32%      Default |
|                               |                      |             Disabled |



1
2
3
4
5
6
7
8
9
10
11
12
13
14

开启训练后

---

------------------------------+----------------------+----------------------+
|   2  A100-PCIE-40GB      Off  | 00000000:39:00.0 Off |                    0 |
| N/A   42C    P0   236W / 250W |  35653MiB / 40536MiB |     72%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+
|   3  A100-PCIE-40GB      Off  | 00000000:3D:00.0 Off |                    0 |
| N/A   42C    P0   226W / 250W |  31506MiB / 40536MiB |     42%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+
|   4  A100-PCIE-40GB      Off  | 00000000:9C:00.0 Off |                    0 |
| N/A   47C    P0   214W / 250W |  32905MiB / 40536MiB |     72%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------+

1
2
3
4
5
6
7
8
9
10
11
12
13
14

GPU 占用如下

此次训练任务，使用了 2,3,4 三张卡，编号为 2 的卡是主卡，主卡 GPU 占用会多 一个 G

---

多卡训练GPU占用分析

---

多卡训练任务中，主卡需要承担和其他卡之前的通信，可以看到

• 实验一：0，1，2，3 四卡训练，0 号主卡多了 3个 通信 进程
• 实验二：4，5，6 三卡训练，4 号主卡多了 2 个通信 进程
• 因此，整体来看，多卡训练任务中，主卡会比其他卡 多占用 一个 G 左右的 GPU 资源

因此，有时候，多卡训练就可能会遇到：RuntimeError: CUDA out of memory. Tried to allocate 模型训练 GPU 显存不够报错总结，此时，就可能是 刚好 主卡 资源不够的原因，关于该报错的分析，可以看我下面的这篇文章：

• 指定GPU运行和训练 python程序 、深度学习单卡、多卡 训练GPU设置【一文读懂】

---

📙 精选专栏

---

• 🍊 深度学习模型训练推理——基础环境搭建推荐博文查阅顺序【基础安装—认真帮大家整理了】——【1024专刊】

计算机视觉领域 八大专栏、不少干货、有兴趣可了解一下

• ❤️ 图像风格转换 —— 代码环境搭建 实战教程【关注即可阅】！
• 💜 图像修复-代码环境搭建-知识总结 实战教程 【据说还行】
• 💙 超分重建-代码环境搭建-知识总结 解秘如何让白月光更清晰【脱单神器】
• 💛 YOLO专栏，只有实战，不讲道理 图像分类【建议收藏】！

• 🍊 深度学习：环境搭建，一文读懂

• 🍊 深度学习：趣学深度学习

• 🍊 落地部署应用：模型部署之转换-加速-封装

• 🍊 CV 和 语音数据集：数据集整理

• 🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力！