深度学习 基础硬件CPU GPU知识笔记

参考：李沐《动手学深度学习v2》https://www.bilibili.com/video/BV1TU4y1j7Wd

桌面GPU排名：https://www.mydrivers.com/zhuanti/tianti/gpu/index.html
桌面CPU排名：https://www.mydrivers.com/zhuanti/tianti/cpu/index.html

CPU与GPU

（GPU，控制流单元删了很多，也没有三级缓存留给计算单位）

基本配置

Intel i7-6700K

提升利用率

提升GPU利用率

并行：取决于矩阵尺寸，神经网络大小，小的神经网络并行性小

提升CPU利用率

空间和时间

并行

CPU/GPU带宽

更多选择

CPU/GPU高性能编程

总结

更多芯片

DPS

总结

单机多卡并行

总结：

GPU使用选择

1. 服务器 DGX A100 100万钱
2. 云 3年=服务器
3. 高端显卡+GPU

GPU配置对比

3080增速下降


内存

提高性能

• 大的批量大小（太大收敛也会变慢）
• 快的数据类型，如16位浮点数
• 实现好的性能版本

购买GPU

• 显存
• 计算能力
• 价格

不同型号核越多

• 价格与性价正比、买最新最贵的