安装TensorRT

TensortRT介绍

13_(1460条消息) TensorRT-介绍_知更鸟k的博客-CSDN博客

13_(1460条消息) TensorRT详细入门指南_tensorrt教程_AI松子666的博客-CSDN博客

安装TensorRT

安装可以查看官方文档：Installation Guide :: NVIDIA Deep Learning TensorRT DocumentationThis NVIDIA TensorRT 8.5.1 Installation Guide provides the installation requirements, a list of what is included in the TensorRT package, and step-by-step instructions for installing TensorRT.https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html

查看Cuda 与Cudnn版本

在安装之前，一定要确认好自己所使用的CUDA、CUDNN和python的版本，因为这关系着tensorrt的版本。例如作者本人就因为版本问题重复安装了很多次，虚拟环境都搭建好了但是最后发现下载的tensorrt没有对应的python版本。

nvcc -V
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

测试时cudnn安装的是8。

附：cuda 与 TensorRt 版本不匹配时，常见报错：

-------------------------------------------------------------------
PyCUDA ERROR: The context stack was not empty upon module cleanup.
-------------------------------------------------------------------
A context was still active when the context stack was being
cleaned up. At this point in our execution, CUDA may already
have been deinitialized, so there is no way we can finish
cleanly. The program will be aborted now.
Use Context.pop() to avoid this problem.
-------------------------------------------------------------------

下载TensorRT

选择TensorRT 8.2 EA for Linux x86_64 and CUDA 11.0, CUDA 11.1, CUDA 11.2, 11.3 and 11.4 TAR Package就好了，不用管什么系统 

有EA和GA版本，我选择EA 因为Early Access的意思

安装TensorRT

解压 tar xzvf TensorRT-8.2.0.6.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz

解压得到TensorRT-6.0.1.5的文件夹，将里边的lib绝对路径添加到环境变量中

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxxxx/TensorRT-6.0.1.5/lib
# xxx为你自己的目录
# 如果手动添加到.bashrc文件中，需要执行source .bashrc命令，配好的环境才能生效    

安装TensorRT

cd TensorRT-6.0.1.5/python
pip install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl
# python环境并没有限制，py35，py36，py37都可

安装UFF,支持tensorflow模型转化

cd TensorRT-6.0.1.5/uff
pip install uff-0.6.5-py2.py3-none-any.whl

安装graphsurgeon，支持自定义结构

cd TensorRT-6.0.1.5/graphsurgeon
pip install graphsurgeon-0.4.1-py2.py3-none-any.whl

检验

以上，我们就成功的将tensorRT安装完了，试着执行一下python，然后看能不能导入这些模块。
如果成功的import tensorrt，那么就算安装成功咯。