深度学习和图形学渲染的结合和应用

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

大家好~这一个月以来，我从0开始学习和实现“深度学习”的技术。
现在与大家分享下我的学习经历，以及我了解到的深度学习在渲染中的应用方向，希望对大家有所帮助！谢谢！

目录* 为什么开始学习深度学习？

为什么开始学习深度学习？

其实我以前在实现与路径追踪相关的降噪算法时，就了解到可以基于深度学习来实现降噪，并且发现这方面的论文近年来越来越多。所以我初步判定深度学习是降噪领域中的发展方向。

但因为深度学习跟图形学是完全不同的学科，跨学科学习的成本太高，需要从0开始，所以我那时候没有采用深度学习的方法，而是采用更偏向于图形学的方法来实现降噪（比如SVGF/BMFR算法）。

那为什么我现在下决心从0开始学习深度学习了呢？这要感谢今年参加我开的“离线渲染（二期）”培训课的同学的反馈意见~他们表示希望多学习下实时渲染的技术，或者是能够将课程的离线渲染技术（如路径追踪）应用到实时渲染中。
经过我的研究，我发现了有两个可行的方案：
1、基于DDGI以及衍生的技术方案（如SDFDDGI）
2、路径追踪+降噪+SDF

第一个方案属于工业上的成熟方案，但是也有很多限制（如只支持漫反射表面），工程上也不易维护（因为是混合了光栅化和光追渲染，比较复杂）；
第二个方案而是只用光追渲染，工程上容易维护；并且也支持高光反射、透明物体等材质。

所以我决定采用第二个方案。这个方案的技术难点就是降噪（路径追踪我已经实现了），所以我决定优先实现它。
前面已经提到了我知道深度学习在降噪中很有前景，所以我下定决心从0学习深度学习！

了解到“谷歌地图基于神经渲染实现了3D地图”

本来我学习深度学习是一心为了用在降噪中，但是我在QQ群里与同学分享我在深度学习方面的实现进展后，有个同学提到了NeRF，说这个最近很火。

我初步研究了下，发现它使用了神经网络，用于从2D图像中重建3D渲染的。我认为我还是需要3D->2D，而不是2D->3D。也就是说，我是要渲染3D模型为2D图像的。所以我认为我目前暂时不需要用到NeRF。

但是，后来我在微信朋友圈中，看到有人分享了“谷歌地图”的发布会，它基于NeRF实现了3D地图。
然后我又在QQ群里看到有同学再一次分享了“谷歌地图”的这个发布会，于是我就再次调研了下相关的技术。

相关的视频：
用AI建模？谷歌3D地图的背后技术

通过调查后，我还是很看好这个技术！NeRF属于“神经渲染”领域，有希望取代目前传统的基于几何模型的渲染！因为它只需要几张图片，就可以渲染出3D画面了，而不再需要几何模型！
使用NeRF得到的3D渲染还可以进行风格变换，以及各种光照变换！

NeRF的改进方向

NeRF目前主要用在静态场景中，我还不清楚如何将其用在动态场景中。
不过对于NeRF的其它的缺点，已经有相关的论文对其改进：

提高训练速度
NeRF训练时间太长，相关的改进资料如下：
神经渲染最新进展与算法（二）：NeRF及其演化 -> NeRF的加速
FastNeRF: High-Fidelity NeuralRendering at 200FPS
Baking Neural Radiance Fields for real-Time View Synthesis
AutoInt: Automatic Integration for Fast Neural Volume Rendering
不可思议！英伟达新技术训练NeRF模型最快只需5秒

还有人提出了不用神经网络的方法，资料如下：
本科生新算法打败NeRF，不用神经网络照片也能动起来，提速100倍

只要一张图片
NeRF需要多个角度下的图片。
有论文提出了只要一张图片的方法：
一张照片就能生成3D模型，GAN和自动编码器碰撞出奇迹
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ixaXVaqX-1653745536054)(https://img2022.cnblogs.com/blog/419321/202205/419321-20220528123948576-1711934021.png)]

将体素渲染转换为真实渲染
把“我的世界”的体素风格转换为真实渲染：
GANcraft ：将玩家变成 3D 艺术家

支持透明物体
有论文提出了支持透明物体的方法：
Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects

支持超大场景
这个就是谷歌地图实现的技术了，他们还发表了论文：
Block-NeRF: Scalable Large Scene Neural View Synthesis

编辑场景内容
NeRF方法仅能从已有的固定的场景生成渲染图像，无法直接按照主观意图编辑场景内容
改进的论文如下：
GRAF: Generative Radiance Fields for3D-Aware Image
GIRAFFE: RepresentingScenes as Compositional Generative Neural Feature Fields

黑暗中的高光渲染
NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images

用于降噪
NeRF甚至可以用在降噪中，不过我没有具体研究。
相关论文如下：
NAN: Noise-Aware NeRFs for Burst-Denoising

在Web上使用硬件来加速训练和推理？

因为我是Web3D领域的开发者，我知道深度学习的Web后端可以为：CPU、WebGL、WebGPU（我不考虑WebAssembly）

我也了解到nvidia显卡有专门的神经网络硬件，但我不清楚如何使用它！

通过群里同学的提醒，我通过研究了解到现在的硬件除了CPU、GPU，还有NPU，而这个NPU是专门为深度学习设计的硬件

NPU相关介绍：NPU的发展概况

那么在Web上能使用NPU硬件吗？答案是有的！目前Web上已经制定了Web Neural Network API标准（简称WebNN），通过该API即可调用NPU硬件!
目前Chrome浏览器正在实现中，貌似还没有发布计划，所以暂时不能使用！

看到有人进行了测评，它的性能比WebGPU快数倍！