第九周实验记录

1、安装Nerfstudio

环境配置

首先需要创建环境python=3.8，接着需要安装cuda11.7或11.3 这里安装cuda11.7

pip uninstall torch torchvision functorch
 
pip install torch==1.13.1 torchvision functorch --extra-index-url https://download.pytorch.org/whl/cu117
1
2
3

安装tinycudann
直接使用 pip install 命令很可能出错
所以先git 下文件在安装

 git clone --recursive https://github.com/nvlabs/tiny-cuda-nn
 cd tiny-cuda-nn
 cmake . -B build
 cmake --build build --config RelWithDebInfo -j
1
2
3
4

在执行最后一步的时候可能会出现缺少文件的错误，需要升级cmake版本 参考链接
接着链接pytorch

 cd tiny-cuda-nn/bindings/torch
 python setup.py install #时间较长
1
2

测试 输入python

python
import tinycudann
1
2

如图 ，安装成功

安装nerfstudio
这里可以直接安装

 pip install nerfstudio
1

也可以git安装

 git clone https://github.com/nerfstudio-project/nerfstudio.git
 cd nerfstudio
 pip install --upgrade pip setuptools
 pip install -e .
1
2
3
4

运行实例

首先需要下载数据集，因为网络原因可能会无法下载，我是直接复制下载链接在浏览器下载。

 ns-download-data nerfstudio --capture-name=poster
1

将数据集解压后，可以直接进行训练

 ns-train nerfacto --data data/nerfstudio/poster
1

在HTTP框中 给出了viewer的地方，在pc端上使用ssh链接服务器 使用cmd输入

ssh -L 7007:localhost:7007 root@connect.beijinga.seetacloud.com -p 22048
1

复制链接打开浏览器，可以查看渲染情况

右侧可以渲染图像，得到视频，以及导出点云，在导出点云文件时命令可以运行，得到点云文件

2、MARS实验

按照github的命令配置环境，这里nerfstudio又安装了一些依赖
下载kitti数据集，一开始没有深度图，所以根据给的代码生成了深度图
开始训练（10月份版本的命令）

ns-train  nsg-kitti-car-depth-recon --data /root/autodl-tmp/mars/data/kitti-MOT/training/image_02/0006
1

如果想读取已经训练的权重 ：–load_dir /root/autodl-tmp/mars/outputs/0006/nsg-kitti-car-depth-recon/2023-11-04_090030/nerfstudio_models
一开始训练出现killed的情况

可能是内存不足，服务器换了160g内存进行重新训练，可以运行

可视化模型为wandb
查看训练曲线以及渲染图像情况

3090显卡，0006序列训练10万次大概9-10个小时
可视化同样可以使用nerfstudio提供的界面 --vis viewer（但是界面很奇怪）可能存在问题

并且根据提供的命令，渲染视频，也出现了错误，可能是nerfstudio安装出现问题，后续继续解决

渲染视频问题解决
nerfstudio需要安装FFmpeg，在安装的时候的版本为下图，缺少依赖，不是完整版本，尤其是当ffmpeg是从源码编译而来时，默认不编译lib264组件

使用下图命令重新安装FFmpeg 既可以运行

可以看到支持如下编译，使用命令导出视频

下周计划

学习nerfstudio 查看论文、文档
解决本周出现的问题
详细阅读mars论文