rocky9.1 深度学习环境配置

• U盘制作启动盘，安装引导；略过；
• sudo fdisk -l

1. 安装nvidia驱动

   1. 教程参考：Rocky linux安装3090 + CUDA11.3 + pytorch - 知乎
   2. 驱动下载：Nvidia官网下载对应显卡驱动，网址略

# 确定系统版本
uname -a
uname -r
 
# 查看当前电脑的显卡型号
lshw -numeric -C display
 
# 命令行搜索集显和独显
lspci | grep VGA
lspci | grep NVIDIA
 
# 关闭默认gpu驱动，也就是禁用nouveau
# 修改配置文件
vim /usr/lib/modprobe.d/dist-blacklist.conf
# 注释
#blacklist nvidiafb
# 添加以下语句
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off
 
# 重启后，执行如下命令，如果没有屏幕输出，说明禁用nouveau成功
lsmod | grep nouveau

--kernel-source-path=/usr/src/kernels/$(uname -r)/ -k $(uname -r)

1. bug: uname -r和实际的/usr/src/kernels/下的名称不是完全一致，解决办法，手动给路径 --kernel-source-path=/usr/src/kernels/5.xxxxxxx -k 5.xxxxxx

先要确保这个路径下面有东西：ls /usr/src/kernels/

• 自己下载离线kernel安装，出了太多bug了
  • https://pkgs.org/download/kernel-devel
  • https://yum.oracle.com/repo/OracleLinux/OL9/appstream/x86_64/getPackage/kernel-devel-5.14.0-162.6.1.el9_1.x86_64.rpm
  • 然后如何安装，rpm安装缺乏依赖：改为：` sudo yum install ./kernel-devel-5.14.0-162.6.1.el9_1.x86_64.rpm ` 即可！！！自动装上依赖了。

 
 sudo yum install ./kernel-devel-5.14.0-162.6.1.el9_1.x86_64.rpm 
 
# 执行下面操作，若有和uname -r一样的文件夹，即可安装显卡驱动
 
ls /usr/src/kernels/
5.14.0-162.6.1.el9_1.x86_64

sudo dnf update 很容易将内核给升级了，这样大家就没办法确保环境一致了！！！！ 

遇到的其他问题；(由于维护不方便，不使用yum install去下载网络源，而是使用iso的安装包里面的rpm package来做系统安装）

方法是：将yum源换为本地源，即将iso作为yum源；解压缩后的包中是有appstream baseOS等文件夹中，其中也有data/repomod.xml

只需要将本地的/etc/repo.d等中的baseurl全部改为  xxxx/AppStream/data/repond.xml的路径即可；然后yum clean all

yum list 如果成功了，就更换了本地源。其中DVD光盘中只有AppStream和baseOS两个源。这是系统依赖，有gcc等。

然后正常的安装yum install等；他们都是有依赖的，且依赖确保大家的操作是一致的。这样就确保了环境一致。------linux运维！ 

2. bug：x server 用命令禁止掉 --no-x-check

2Linux安装nvidia遇到的问题you appear to be running an x server please exit x before installing_纽约恋情的博客-CSDN博客

# 我使用这个无效
sudo /etc/init.d/lightdm stop
sudo /etc/init.d/lightdm status 
 
# 有用的办法是
https://zhuanlan.zhihu.com/p/115758882
sudo ./NVIDIAxxxx.run --no-x-check

3.bug: nvidia-smi无法同nvidia驱动通信， 解决办法：kernel-header版本过高，需要重新下载离线包安装

我的kernel-header版本也抬高了，需要下载对应的rpm，离线安装，然后再装nvidia驱动，就好了。一波三折阿

sudo yum install ./kernel-headers-5.14.0-162.6.1.el9_1.x86_64.rpm

然后继续重装nvidia驱动，成功了。

# 这一步骤要修改，很容易出现kernel版本和内核版本不一致的情况
# sudo yum install kernel-devel elfutils elfutils-devel glibc-devel
 
# sudo yum install "kernel-devel-uname-r == $(uname -r)"
 
 sudo yum install ./kernel-devel-5.14.0-162.6.1.el9_1.x86_64.rpm 
sudo yum install ./kernel-headers-5.14.0-162.6.1.el9_1.x86_64.rpm
# 备份initramfs配置文件
sudo mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak
 
# 重建initramfs文件
sudo dracut -v /boot/initramfs-$(uname -r).img $(uname -r)
 
# 添加执行权限
sudo chmod +x NVIDIA-Linux-x86_64-515.48.07.run
# 安装驱动
sudo ./NVIDIA-Linux-x86_64-515.48.07.run --no-opengl-files --kernel-source-path=/usr/src/kernels/$(uname -r)/ -k $(uname -r) --no-x-check
 
# 由于不是完全一致，就采用手动给路径的办法，成功了。
sudo ./NVIDIA-Linux-x86_64-535.113.01.run --no-opengl-files --kernel-source-path=/usr/src/kernels/5.14.0-162.6.1.el9_1.x86_64/ -k 5.14.0-162.6.1.el9_1.x86_64  --no-x-check
 
 
# --no-opengl-files 表示只安装驱动文件，不安装OpenGL文件。这个参数不可省略，否则会导致登陆界面死循环，英语一般称为”login loop”或者”stuck in login”。
# –-no-x-check 表示安装驱动时不检查X服务，非必需。
# –-no-nouveau-check 表示安装驱动时不检查nouveau，非必需。
# -Z, --disable-nouveau：禁用nouveau。此参数非必需，因为之前已经手动禁用了nouveau。
 
# 安装过程中，选择accept
# 如果提示要修改xorg.conf，选择yes
# 重新启动，查看显卡是否正常启动
# 检查驱动是否安装成功
nvidia-smi
# nvidia-settings

多年来一直困扰我的问题，就是当我们下载了一个rpm包来安装的时候发现缺少依赖。以前的做法是网上挨个去搜索依赖的rpm，然后依次安装。

# rpm -ivh google-chrome-stable_current_x86_64.rpm

其实有了yum早已经可以解决这个问题了，命令格式如下，yum会自动寻找依赖并且安装，从而完整这个rpm的安装。

# yum install ./google-chrome-stable_current_x86_64.rpm

有时候也会存在找不到依赖的情况；装kernel上，有些依赖可以获取，但是会配置高版本；低版本的还是要自己下载rpm，然后自动依赖，若依赖好了，只要能运行成功，就可以！！！

！！！若yum不存在内核版本的kernel，就换源：换源之后，还是没有！！

solution：下载kernel离线rpm包，用yum install安装

rocky9.1 yum 换源：让安装install下载更快！

• Rocky Linux 国内镜像源列表_rockylinux国内镜像-CSDN博客

sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
    -i.bak \
    /etc/yum.repos.d/[Rr]ocky*.repo

安装了epel，修改如下：

sed -e 's|^metalink=|#metalink=|g' \
    -e 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|g' \
    -i.bak \
    /etc/yum.repos.d/epel*.repo
# 注意：
# Rocky Linux 中 #baseurl=https://download.example/pub
# 与 CentOS 相同，而 Alma Linux #baseurl=https://download.fedoraproject.org/pub

 清理并重新生成软件包；速度一下就快了，达到1M/s，应该是国内源更换成功了。

yum clean all
yum autoremove
rm -rf /var/cache/yum
yum makecache

二、rocky9 gcc版本降级，失败！放弃！！！再怎么都不行的，浪费2天时间了。若需要编译，再回来战斗！

如果，需要，就是在这下面编译对应版本的模型，就需要编译。

https://ftp.lysator.liu.se/pub/opensuse/distribution/leap/15.5/repo/oss/x86_64/gcc9-9.3.1+git1296-1.6.1.x86_64.rpm

 1. 通过rpm依赖安装，看看能不能降级

• 发现没有生存libiberty.so 编译这个库时有困难；发现build文件夹中，mpc等都为空，应该是找不到libmpc等，就是库链接有问题
  • 就将/usr/local/lib下的四个依赖库的文件都拷贝到x86_pc_linux文件夹下，这个库就生成了！！！

make[3]: 离开目录“/home/dl/software/gcc-9.2.0/gcc-build-9.2.0/libiberty”
make[2]: 离开目录“/home/dl/software/gcc-9.2.0/gcc-build-9.2.0”
make[1]: *** [Makefile:26574：stage1-bubble] 错误 2
make[1]: 离开目录“/home/dl/software/gcc-9.2.0/gcc-build-9.2.0”
make: *** [Makefile:1002：all] 错误 2

三、其他软件安装

snap 安装Iptux

Install iptux on Linux | Snap Store

sudo dnf install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
 
sudo yum install snapd
sudo systemctl enable --now snapd.socket
sudo snap install iptux

编译tensorrt库遇到的问题

• 0. 环境配置问题：
  • 1. rokcy系统，只装了nvidia驱动，遇到的问题如上所示；验证标准：nvidia-smi，通过！即可。✅
  • 2. 调用显卡是否可行：验证方法，安装conda，创建python虚拟环境，安装pytorch,cuda,cudnn等；然后使用python import torch torch.zeros(1).cuda()，return tensor([1.]) 证明算力8.6和cuda11.3是OK的，是支持的；cuda是支持本显卡的算力的。✅
  • 3. 环境本身没有安装cuda11.3.run，系统路径里面没有cuda11.3的环境的；cuda11.3完全是依赖与离线给的include和lib的 ✅
  • 4. cudnn本身就是一个包而已，不需要安装； ✅
  • 5. Tensorrt本身也是一个安装包而已，不需要安装，编译的时候能找到invfer.dll or libinfer.so库，即可；而且只需要infer onnx两个库。 ✅
    • 找不到.so or .so.8 而路径下有.so.8.0.0，有很长的版本号，如何解决？！！
    • 链接库时遇到的问题：.so .so.8 两个都要存在才行；编译库需要.so； 运行库需要.so.8；这两个有时候是自动创建了软连接，如编译库的时候；但是在拷贝的时候是没有软连接的，其实都是同一份东西；但是同路径下是不能创建软连接的；ln -s是失败的；解决办法：复制，改名字即可。
  • 6. qt的编译信息报错很长，要去看lib.so相关的warning，会提示你找不到Kernels等库；solution：编写链接这些库的配置，在qt的.pro文件中。然后就通过了。
  • 7. tensorrt环境不一样，所以模型不一样。导致模型有打印输出，有加载上，但是运行到一半就挂了，所以需要结合现象来分析问题；然后尝试和解决！！
    • 解决：环境改为一样的。
    • 有兴趣就去解决：.so 和.so.8的调用问题！
  • 8. 改了之后，还是一样的报错；换个显卡就得编译；可能是这个问题！！！！！
  • 9. qt gdb问题，一台可以debug，一台电脑无法debug，所以是部署电脑的gdb存在了问题，需要重新安装gdb，这是个问题！！！！！
• 1. 编译我的tensorrt-yolov5的库
  • （1）由于我的库，在之前的demo上copy过来的，导致两个问题；
    • ①编译build之后，生成的结果去了zy/文件夹，不在我的文件夹内；原因是qt 工程的问题；.pro路径依赖；拷贝走了都依赖；
    • ②在代码上写库，虽然每调用tkdnn，但是还是在加载这个库，没必要的；需要脱离；但是工程里面有些代码，又使用的tkdnn的库；没办法深度剥离，这是个问题，该如何解决呢？？？？
    • ③我先重新创建一个pro来解决这个问题，重新创建，只有我的东西，然后把相关代码给干掉和屏蔽即可。
  • （2）干掉依赖tkdnn库的代码，然后函数等价平替：
    • ①getcwd，#include 解决了这个问题
    • ②报错：yolov5::update()报错了，说明我的库的update出现了问题，就是tensorrt模型的问题，不兼容。
      • 解决办法：重新编译，然后看下得不得行！！！！！！
    • ③由于缺的依赖太多了，没办法，只能在2080ti上编译，看能不能解决这个库的问题，如果可以解决，就是库的依赖问题
    • ④彻底解决，需要解决shap_ptr等问题！！！windows下不存在此类问题，到底哪里的依赖出了问题呢？？！！
  • （3）duration(const duration&) = default;
    • 挂在了duration里面，如果库里面注释掉这个，就可以了。所以还是环境依赖有问题。编写yolov5库的时候把这个注释掉，就可以运行起走了。所以还是哪里的问题呢？！！！
    • 注释掉后，有事shape_ptr智能指针有问题。这些难道是gcc版本太低了的原因吗？
    • 可能还是要在这台机器上编译，然后才能跑起来？？？
      • 算了，还是要先解决，不然的话去4600上又会跑步起来！！原因未知。
  • （4）qt的qDebug()屏蔽了我的库的printf信息，所以要暂时屏蔽qDebug()
    • pro添加配置信息：Qt开发之路43---Qt屏蔽qDebug调试信息_qt debug全部屏蔽_木木木.的博客-CSDN博客
    • Qtcreator中调试控制台程序及调用printf打印不显示问题_qt的普通c++类打印不显示-CSDN博客
      • 行缓冲的原因：加上 setbuf(stdout, NULL);完美解决不打印的问题！！！！ ✅
  • （5）由于opencv版本不一样导致的各种问题：所以需要libopencv的模块名称，添加上去！！！opencv4只需要world，但opencv3需要更多！！！
  • （6）最终就成功了！！！！关键环节，还是要在可以debug的模式下编译库，demo调用库的源码，并且跑通，这样比较OK。
    • 在demo中，yolov5-dll也要是源码，非调库的状态，库代码可能会写错的！！！然后就OK了。

int main(int argc, char *argv[])
{
    setbuf(stdout,NULL);
    QApplication a(argc, argv);
    MainWindow w;
    w.show();
    return a.exec();
}

调试技巧-others

• 1. C&无提示下排查问题：        
  • 逐行屏蔽，然后编译调试；这样
  • 文件夹调用的是release；库编译的是release，demo是debug；路径里面是release；
    • demo链接了release的库；debug编出来，链接了release的库，结果挂掉了。不是这个问题；另外一台可以过。
  • 所以：盲调如何定位到问题，是一门技术；靠盲目尝试不行；需要有思路
  • 解决办法：找有经验的人来做；然后学习其经验；
    • 尝试：光有new是可以的；new了库，是可以的；
    • 是哪一句导致其new的；
    • 猜想：只要把算法检测一开，就要崩溃。yes!证实！为什么呢？应该还是初始化有问题，模型文件不对？把init关闭了，看有没有问题？！
• 2.