windows版：TensorRT安装教程

查看版本对应cuda与TensorRT：https://blog.csdn.net/weixin_41540237/article/details/131589929

TensorRT 下载地址：https://developer.nvidia.com/nvidia-tensorrt-7x-download

cudnn下载地址：https://developer.nvidia.com/rdp/cudnn-archive#a-collapse765-102

查看CUDA与cudnn版本

import torch
print(torch.version.cuda)
print(torch.backends.cudnn.version())
print(torch.cuda.is_available(  ))
1
2
3
4

下载TensorRT ：TensorRT-7.2.2.3

配置TensorRT

将 TensorRT-7.2.2.3\include 中头文件 拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include；
将 TensorRT-7.2.2.3\lib 中所有lib文件 拷贝 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64；
将 TensorRT-7.2.2.3\lib 中所有dll文件拷贝 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin；

编译mnist例程

用VS2019 打开 TensorRT-7.2.2.3\samples\sampleMNIST\sample_mnist.sln；
在VS2019中，重新生成；

报错：无法打开包括文件: “cuda_runtime.h”: No such file or dir

错误原因：

没有包含cuda头文件

解决：

【项目右键】，点击【属性】，点击【配置属性】，点击【C/C++】，点击【常规】，编辑【附加包含目录】，根据CUDA的路径添加：C:\GPU\Program_Files\NVIDIAGPUToolkit\CUDA\V10.2\include

报错：无法打开输入文件“cudnn.lib”

解决办法

VC++目录的库目录添加：C:\GPU\Program_Files\NVIDIAGPUToolkit\CUDA\V10.2\lib\x64

测试

运行download_pgms.py文件

使用python运行TensorRT-7.2.2.3\data\mnist下的download_pgms.py程序。注意这里需要进入到TensorRT-7.2.2.3\data\mnist这个目录下，否则文件会下载到其他地方去

python download_pgms.py
1

报错：The binary mode of fromstring is deprecated, as it behaves surprisingly on unicode inputs. Use frombuffer instead raw_buf = np.fromstring(buffer, dtype=np.uint8)

解决

将np.fromstring修改成 np.frombuffer

在进行运行：

python download_pgms.py
1

出现数据集表示下载成功

运行：sample_mnist.exe

在D:\TensorRT\TensorRT-7.2.2.3.Windows10.x86_64.cuda-10.2.cudnn8.0\TensorRT-7.2.2.3\bin文件夹下运行sample_mnist.exe --datadir=D:\TensorRT\TensorRT-7.2.2.3.Windows10.x86_64.cuda-10.2.cudnn8.0\TensorRT-7.2.2.3\data\mnist\

报错：由于找不到cudann64_8.dll,无法继续执行代码

这个报错不是没有安装cudann就是cudann版本太低了

下载：cudnn-10.2-windows10-x64-v8.0.4.30

这个有对应的：cudann64_8.dl

将复制到下面文件夹复制到C:\GPU\Program_Files\NVIDIAGPUToolkit\CUDA\V10.2

再从新运行

sample_mnist.exe --datadir=D:\TensorRT\TensorRT-7.2.2.3.Windows10.x86_64.cuda-10.2.cudnn8.0\TensorRT-7.2.2.3\data\mnist\
1