深度学习推理显卡设置

推理显卡的选择

GPU关键参数：

1. 算力：SM数量、CUDA核心数量、Tensor核心数量以及在FP32、FP16、INT8、INT4、BF16、TF32等数据精度上的峰值算力。
2. 存储：包括显存、L1 Cache、L2 Cache等。
3. 内存带宽。

参数查询：https://www.techpowerup.com/gpu-specs/

深度学习推理显卡设置

1. 进入NVIDIA控制面板，选择 “管理3D设置”
2. 设置 "低延时模式"为 "“超高”"
3. 设置 “电源管理模式” 为 “最高性能优先”

使用锁频来获得稳定的推理

法一：命令行操作

1. 以管理员身份打开CMD
2. 查看GPU核心可用频率：nvidia-smi -q -d SUPPORTED_CLOCKS
3. 锁定GPU核心频率：nvidia-smi -lgc 需要锁定的频率数值
4. 重置GPU核心频率：nvidia-smi -rgc

法二、Nvidia GPU锁频操作

下载锁频工具：MSI AFTERBURNER

1. 打开MSI-Afterburner，点击 “CURVE EDITER” 打开频率-电压曲线，如下图1；
2. 在下图2中选中曲线上的小方块，就可以调整不同电压下对应的GPU频率，将最后水平线上的小方块拖动往上调即可超频，
   选中其中一点，ctrl-L就会在该点出现一条竖线，即可锁频；
3. 关闭 “CURVE EDITOR” ，点击下图3的应用按钮，这时GPU就可以超频或者锁频了；若不想锁频，点击 “RESET” 即可恢复默认频率设置；