探秘扩散模型：训练算法与采样算法的双重解读

很早之前就新建了一个专栏从0开始弃坑扩散模型,但发了一篇文章就没有继续这一系列，在这个AIGC的时代，于是我准备重启这个专栏。
整个专栏的学习顺序可以见这篇汇总文章
很多时候我们看到一篇文章很长，难免会心生胆怯，所以我将这些知识进行分解到每一篇中。

这是本专栏的第4章

前面终于解释完了正向过程和反向过程，我们接下来理解训练神经网络的算法和采样图片（生成图片）的算法。

训练算法

这个算法的流程是，首先从训练集里取一个 $x_0$,然后随机从1，2，3…时刻里取一个时刻来训练。注意，在实际训练时候，我们不要求在反向过程里面一样拟合T个正态分布，只要随机预测T个时刻中的某一个时刻结果。然后随机生成一个用来正向过程的噪声得到 $x_t$,我们再把 $x_t$和t传给神经网络来预测噪声。训练的损失函数是预测噪声和实际噪声之间的均方误差。

采样算法

采样，就是反向过程的又一个讲法罢了，但因为目的是生成图片，所以用采样更加贴近。

训练好后，我们可以对任意一个标准正态分布的纯噪声图像去噪。第2步开始就是反向过程了。
为什么这里t=1的时候，不用添加方差了呢？
因为方差和 $\overline{a_t}$和 $\overline{a_{t-1}}$有关，当t=1时，怎么可能会有 $\overline{a_0}$呢？