Diffusion模型详解

1 引言

 在上一篇《基于流的深度生成模型》中详解介绍了有关流的生成模型理论和方法。目前为止，基于GAN生成模型，基于VAE的生成模型，以及基于flow的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。GAN在对抗训练过程中会出现模式崩塌和训练不稳定的问题；VAE则严重依赖于目标损失函数；流模型则必须使用专门的框架来构建可逆变换。本文主要介绍关于扩散模型，其灵感来自于非平衡热力学。它们定义了扩散步骤的马尔可夫链，将随机噪声缓慢地添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。 与VAE或流模型不同，扩散模型是通过固定过程学习的，并且中间的隐变量与原始数据具有高维数维度。

• 优点： 扩散模型既易于分析又很灵活。要知道易处理性和灵活性是生成建模中两个相互冲突的目标。易于处理的模型可以进行分析评估和拟合数据，但它们不能轻易地描述丰富数据集中的结构。灵活的模型可以拟合数据中的任意结构，但是从这些模型中评估、训练或采样的成本会很高。
• 缺点： 扩散模型依赖于长马尔可夫扩散步骤链来生成样本，因此在时间和计算方面成本会很高。目前已经提出了新的方法来使该过程更快，但采样的整体过程仍然比GAN慢。
  

2 前向扩散过程

 给定从真实数据分布${\mathbf{x}}_0\sim q(\mathbf{x})$中采样的数据点，在一个前向扩散过程，在$T$步里逐步向样本中添加少量高斯噪声，从而产生一系列噪声样本${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_T$，其步长由方差计划 { β t ∈ ( 0 , 1 ) } t = 1 T \{\beta_t\in(0,1)\}_{t=1}^T {βt​∈(0,1)}t=1T​来控制，则有$$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-\beta }{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})$$在扩散过程进行的时候，随着时长步长$t$的增大，数据样本${\mathbf{x}}_0$逐渐失去其可区分的特征。最终，当$T\to \infty$, ${\mathbf{x}}_T$等价于各向同性高斯分布（各向同性的高斯分布即球形高斯分布，特指的是各个方向方差都一样的多维高斯分布，协方差为正实数与单位矩阵相乘）。

上述过程的一个很好的特性是可以使用重新参数化技巧以封闭形式在任意时间步长$t$对${\mathbf{x}}_t$进行采样。 令${\alpha }_t=1-{\beta }_t$和${\bar{\alpha }}_t={\prod }_{i=1}^T{\alpha }_i$，进而则有： x t = α t x t − 1 + 1 − α t z t − 1 = α t α t − 1 x t − 2 + 1 − α t α t − 1 z ˉ t − 2 = ⋯ = α ˉ t x 0 + 1 − α ˉ t z q ( x t ∣ x 0 ) = N ( x t ; α ˉ t x 0 , ( 1 − α ˉ t ) I ) xt=√αtxt−1+√1−αtzt−1=√αtαt−1xt−2+√1−αtαt−1ˉzt−2=⋯=√ˉαtx0+√1−ˉαtzq(xt|x0)=N(xt;√ˉαtx0,(1−ˉαt)I)

xt​q(xt​∣x0​)​=αt​ ​xt−1​+1−αt​ ​zt−1​=αt​αt−1​ ​xt−2​+1−αt​αt−1​ ​zˉt−2​=⋯=αˉt​ ​x0​+1−αˉt​ ​z=N(xt​;αˉt​ ​x0​,(1−αˉt​)I)​其中${\mathbf{z}}_{t-1},{\mathbf{z}}_{t-2},\cdots \sim \mathcal{N}(0,\mathbf{I})$，${\bar{\mathbf{z}}}_{t-2}$融合两个高斯分布。当合并两个具有不同方差$\mathcal{N}(0,{\sigma }_1^2\mathbf{I})$和$\mathcal{N}(0,{\sigma }_2^2\mathbf{I})$的高斯分布时，得到的新的高斯分布是$\mathcal{N}(0,({\sigma }_1^2,{\sigma }_2^2)\mathbf{I})$，其中合并的标准差为$$\sqrt{(1-{\alpha }_t)+{\alpha }_t(1-{\alpha }_{t-1})}=\sqrt{1-{\alpha }_t{\alpha }_{t-1}}$$通常情况下，噪声越大更新的步长也会随着调大，则有${\beta }_1<{\beta }_2\cdots <{\beta }_T$，所以${\bar{\alpha }}_1>\cdots >{\bar{\alpha }}_T$。

3 更新过程

 Langevin动力学是物理学中的一个概念，用于对分子系统进行统计建模。结合随机梯度下降，随机梯度朗之万动力学可以仅使用马尔可夫更新链中的梯度${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$从概率密度$p(\mathbf{x})$生成样本：$${\mathbf{x}}_t={\mathbf{x}}_{t-1}+\frac{ϵ}{2}{\nabla }_{\mathbf{x}}\log p({\mathbf{x}}_{t-1})+\sqrt{ϵ}{\mathbf{z}}_t,{\mathbf{z}}_t\sim \mathcal{N}(0,\mathbf{I})$$其中$ϵ$为步长。当$T\to \infty$时,$ϵ\to 0$,$\mathbf{x}$_T则等于真实概率密度$p(\mathbf{x})$。与标准SGD相比，随机梯度Langevin动力学将高斯噪声注入到参数更新中，以避免陷入到局部最小值中。

4 反向扩散过程

 如果将上述过程进行反转并从概率分布$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$中进行采样，则能够从高斯噪声输入${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$中重新构造真实样本。需要注意的是如果${\beta }_t$足够小，$q({\mathbf{x}}_{t-1},{\mathbf{x}}_t)$也将是高斯分布。但这需要使用整个数据集进行估计，因此需要学习一个模型$p_{\theta }$来近似这些条件概率，以便进行反向扩散过程$$p_{\theta }({\mathbf{x}}_{0:T})=p({\mathbf{x}}_T)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$$当条件为${\mathbf{x}}_0$时，反向条件概率是容易估计处理的：$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};\mathbf{\mu }({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I})$$使用贝叶斯法则可以得到 q ( x t − 1 ∣ x t , x 0 ) = q ( x t ∣ x t − 1 , x 0 ) q ( x t − 1 ∣ x 0 ) q ( x t ∣ x 0 ) ∝ exp ⁡ [ − 1 2 ( ( x t − α t x t − 1 ) 2 β t + ( x t − 1 − α ˉ t − 1 x 0 ) 2 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ) ] = exp ⁡ [ − 1 2 ( x t 2 − 2 α t x t x t − 1 + α t x t − 1 2 β t + x t − 1 2 − 2 α ˉ t − 1 x 0 x t − 1 + α ˉ t − 1 x 0 1 − α ˉ t − 1 − ( x t − α ˉ t x 0 ) 2 1 − α ˉ t ) ] = exp ⁡ [ − 1 2 ( ( α t β t + 1 1 − α ˉ t − 1 ) x t − 1 2 − ( 2 α t β t x t + 2 α ˉ t − 1 1 − α ˉ t − 1 x 0 ) x t − 1 + C ( x t , x 0 ) ) ] q(xt−1|xt,x0)=q(xt|xt−1,x0)q(xt−1|x0)q(xt|x0)∝exp[−12((xt−√αtxt−1)2βt+(xt−1−√ˉαt−1x0)21−ˉαt−1−(xt−√ˉαtx0)21−ˉαt)]=exp[−12(x2t−2√αtxtxt−1+αtx2t−1βt+x2t−1−2√ˉαt−1x0xt−1+ˉαt−1x01−ˉαt−1−(xt−√ˉαtx0)21−ˉαt)]=exp[−12((αtβt+11−ˉαt−1)x2t−1−(2√αtβtxt+2√ˉαt−11−ˉαt−1x0)xt−1+C(xt,x0))]

q(xt−1​∣xt​,x0​)​=q(xt​∣xt−1​,x0​)q(xt​∣x0​)q(xt−1​∣x0​)​∝exp[−21​(βt​(xt​−αt​ ​xt−1​)2​+1−αˉt−1​(xt−1​−αˉt−1​ ​x0​)2​−1−αˉt​(xt​−αˉt​ ​x0​)2​)]=exp[−21​(βt​xt2​−2αt​ ​xt​xt−1​+αt​xt−12​​+1−αˉt−1​xt−12​−2αˉt−1​ ​x0​xt−1​+αˉt−1​x0​​−1−αˉt​(xt​−αˉt​ ​x0​)2​)]=exp[−21​((βt​αt​​+1−αˉt−1​1​)xt−12​−(βt​2αt​ ​​xt​+1−αˉt−1​2αˉt−1​ ​​x0​)xt−1​+C(xt​,x0​))]​其中$C({\mathbf{x}}_t,{\mathbf{x}}_0)$函数与${\mathbf{x}}_{t-1}$无关。按照标准高斯密度函数，均值和方差可以参数化如下$$\begin{array}{rl}{\tilde{\beta }}_t& =1/\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right)=1/\left(\frac{{\alpha }_t-{\bar{\alpha }}_t+{\beta }_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})}\right)=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\\ {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)& =\left(\frac{{\sqrt{\alpha }}_t}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0\right)/\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right)\\ & =\left(\frac{{\sqrt{\alpha }}_t}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0\right)\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}{\beta }_t}}{1-{\bar{\alpha }}_t}{\mathbf{x}}_0\end{array}$$将${\mathbf{x}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{\mathbf{z}}_t)$带入到以上公式中则有$$\begin{array}{rl}{\tilde{\mathbf{\mu }}}_t& =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathbf{x}}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}{\mathbf{z}}_t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{z}}_t\right)\end{array}$$这种设置与VAE非常相似，因此可以使用变分下限来优化负对数似然，进而则有$$\begin{array}{rl}-\log p_{\theta }({\mathbf{x}}_0)& \le -\log p_{\theta }({\mathbf{x}}_0)+D_{\mathrm{K}\mathrm{L}}(q({\mathbf{x}}_{1:T})|{\mathbf{x}}_0||p_{\theta }({\mathbf{x}}_{1:T}|{\mathbf{x}}_0))\\ & =-\log p_{\theta }({\mathbf{x}}_{\theta })+{\mathbb{E}}_{1:T\sim q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})/p_{\theta }({\mathbf{x}}_0)}\right]\\ & =-\log p_{\theta }({\mathbf{x}}_0)+{\mathbb{E}}_q\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}+\log p_{\theta }({\mathbf{x}}_0)\right]\\ & ={\mathbb{E}}_q\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]\\ L_{\mathrm{V}\mathrm{L}\mathrm{B}}& ={\mathbb{E}}_{q({\mathbf{x}}_{0:T})}\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]\ge -{\mathbb{E}}_{q({\mathbf{x}}_0)}\log p_{\theta }({\mathbf{x}}_0)\end{array}$$使用Jensen不等式也很容易得到相同的结果。假设要最小化交叉熵作为学习目标，则有$$\begin{array}{rl}{L}_{\mathrm{C}\mathrm{E}}& =-{\mathbb{E}}_{q({\mathbf{x}}_0)}\log p_{\theta }({\mathbf{x}}_0)\\ & =-{\mathbb{E}}_{q({\mathbf{x}}_0)}\log \left(\int p_{\theta }({\mathbf{x}}_{0:T})d{\mathbf{x}}_{1:T}\right)\\ & =-{\mathbb{E}}_{q({\mathbf{x}}_0)}\log \left(\int q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)\frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}d{\mathbf{x}}_{1:T}\right)\\ & =-{\mathbb{E}}_{q({\mathbf{x}}_0)}\log \left({\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\right)\\ & \le -{\mathbb{E}}_{q({\mathbf{x}}_{0:T})}\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\\ & ={\mathbb{E}}_{q({\mathbf{x}}_{0:T})}\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]=L_{\mathrm{V}\mathrm{T}\mathrm{B}}\end{array}$$为了将方程中的每个项转换为可解析计算的，可以将目标进一步重写为几个KL散度和熵项的组合$$\begin{array}{rl}{L}_{\mathrm{T}\mathrm{V}\mathrm{B}}& ={\mathbb{E}}_{q({\mathbf{x}}_{0:T})}\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]\\ & ={\mathbb{E}}_q\left[\log \frac{{\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|p({\mathbf{x}}_t))}\right]\\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=1}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]\\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \left(\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\cdot \frac{q({\mathbf{x}}_t|{\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}\right)+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{q({\mathbf{x}}_1|{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }(\mathbf{x}|{\mathbf{x}}_1)}\right]\\ & ={\mathbb{E}}_q\left[\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_T)}+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]\\ & ={\mathbb{E}}_q\left[D_{\mathrm{K}\mathrm{L}}(q({\mathbf{x}}_T|{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_T))+\sum _{t=2}^T{D}_{\mathrm{K}\mathrm{L}}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]\end{array}$$分别标记变分下界损失中的每个分量为$$\begin{array}{rl}{L}_{\mathrm{V}\mathrm{L}\mathrm{B}}& =L_T+L_{T-1}+\cdots +L_0\\ L_T& =D_{\mathrm{K}\mathrm{L}}(q({\mathbf{x}}_T|{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_T))\\ L_t& =D_{\mathrm{K}\mathrm{L}}(q({\mathbf{x}}_t|{\mathbf{x}}_{t+1},{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_t|{\mathbf{x}}_{t+1}))\\ L_0& =-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\end{array}$$$L_{\mathrm{V}\mathrm{L}\mathrm{B}}$中的每个KL项（除了$L_0$）都测量两个高斯分布之间的距离，因此可以以闭式解来计算它们。$L_T$是常数,在训练过程中可以被忽略，其原因在于$q$没有可学习的参数并且${\mathbf{x}}_T$是高斯噪声,$L_0$可以从$\mathcal{N}({\mathbf{x}}_0,{\mathbf{\mu }}_{\theta }({\mathbf{x}}_1,1),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_1,1)$中推导出来。

5 训练损失的参数化

 当需要学习一个神经网络来逼近反向扩散过程中的条件概率分布$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$时，即想训练${\mathbf{\mu }}_{\theta }$预测${\tilde{\mathbf{\mu }}}_t=\frac{1}{\sqrt{{\alpha }_t}}\left(\mathbf{x}-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\mathbf{z}}_t\right)$。 因为${\mathbf{x}}_t$在训练时可用作输入，可以重新参数化高斯噪声项，以使其从时间步长$t$的输入${\mathbf{x}}_t$中预测${\mathbf{z}}_t$：
μ θ ( x t , t ) = 1 α t ( x t − β t 1 − α ˉ t z θ ( x t , t ) ) x t − 1 = N ( x t − 1 ; 1 α t ( x t − β t 1 − α ˉ t z θ ( x t , t ) ) , Σ θ ( x t , t ) ) μθ(xt,t)=1√αt(xt−βt√1−ˉαtzθ(xt,t))xt−1=N(xt−1;1√αt(xt−βt√1−ˉαtzθ(xt,t)),Σθ(xt,t))

μθ​(xt​,t)xt−1​​=αt​ ​1​(xt​−1−αˉt​ ​βt​​zθ​(xt​,t))=N(xt−1​;αt​ ​1​(xt​−1−αˉt​ ​βt​​zθ​(xt​,t)),Σθ​(xt​,t))​损失项$L_t$是被参数化目的是最小化来自$\tilde{\mathbf{\mu }}$的差异$$\begin{array}{rl}{L}_t& ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{z}}\left[\frac{1}{2\Vert {\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t){\Vert }_2^2}\Vert {\tilde{\mathbf{\mu }}}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mathbf{\mu }}_{\theta }({\mathbf{x}}_t,t){\Vert }^2\right]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{z}}\left[\frac{1}{2\Vert {\mathbf{\Sigma }}_{\theta }{\Vert }_2^2}\Vert \frac{1}{{\sqrt{\alpha }}_t}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-\bar{\alpha }}}\mathbf{z}\right)-\frac{1}{{\sqrt{\alpha }}_t}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-\bar{\alpha }}}{\mathbf{z}}_{\theta }({\mathbf{x}}_t,t)\right)\Vert \right]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{z}}\left[\frac{{\beta }_t^2}{2{\alpha }_t(1-{\bar{\alpha }}_t)\Vert {\mathbf{\Sigma }}_{\theta }{\Vert }_2^2}\Vert {\mathbf{z}}_t-{\mathbf{z}}_{\theta }({\mathbf{x}}_t,t){\Vert }^2\right]\\ & ={\mathbb{E}}_{{\mathbf{x}}_0,\mathbf{z}}\left[\frac{{\beta }_t^2}{2{\alpha }_t(1-{\bar{\alpha }}_t)\Vert {\mathbf{\Sigma }}_{\theta }{\Vert }_2^2}\Vert {\mathbf{z}}_t-{\mathbf{z}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}{\mathbf{z}}_t,t){\Vert }^2\right]\end{array}$$根据经验Ho等人的经验，发现在忽略加权项的简化目标下，训练扩散模型效果更好：$$L_t^{\mathrm{s}\mathrm{i}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}={\mathbb{E}}_{{\mathbf{x}}_0,{\mathbf{z}}_t}\left[\Vert {\mathbf{z}}_t-{\mathbf{z}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}{\mathbf{z}}_t,t){\Vert }^2\right]$$所以最终简化后的目标函数是：$$L_{\mathrm{s}\mathrm{i}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}=L^{\mathrm{s}\mathrm{i}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}+C$$其中$C$是不取决于$\theta$的常数。

6 噪声评分条件网络（NCSN）

 Song和Ermon等人提出了一种基于分数的生成建模方法，其中样本是通过Langevin动力学使用分数匹配估计的数据分布梯度生成的。每个样本$\mathbf{x}$的密度概率得分定义为其梯度${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$。训练一个分数网络$s_{\theta }:{\mathbb{R}}^D\to {\mathbb{R}}^D$来估计它。为了在深度学习设置中使用高维数据使其可扩展，有研究建议使用去噪分数匹配（向数据添加预先指定的小噪声）或切片分数匹配。Langevin动力学可以仅使用迭代过程中的分数从概率密度分布中采样数据点${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$。然而，根据流形假设，大多数数据预计集中在低维流形中，即使观察到的数据可能看起来只是任意高维。由于数据点无法覆盖整个空间${\mathbb{R}}^D$，因此对分数估计产生了负面影响。在数据密度低的区域，分数估计不太可靠。添加一个小的高斯噪声使扰动的数据分布覆盖整个空间后，分数评估网络的训练变得更加稳定。 Song和Ermon等人通过用不同级别的噪声扰动数据来改进它，并训练一个噪声条件评分网络来共同估计所有扰动数据在不同噪声级别下的分数。

7 ${\beta }_t$和${\mathbf{\Sigma }}_{\theta }$的参数化

 参数化${\beta }_t$的过程中，Ho等人将前向方差被设置为一系列线性增加的常数，从${\beta }_1=10^{-4}$到${\beta }_T=0.02$。与$[-1,1]$之间的归一化图像像素值相比，它们相对较小。在此设置下实验中的扩散模型生成了高质量的样本，但仍然无法像其他生成模型那样实现具有竞争力。Nichol和Dhariwal等人提出了几种改进技术来帮助扩散模型获得更低的NLL。 其中一项改进是使用基于余弦的方差计划。调度函数的选择可以是任意的，只要它在训练过程的中间提供一个近线性的下降和围绕$t=0$和$t=T$的细微变化$${\beta }_t=\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}(1-\frac{{\bar{\alpha }}_t}{{\alpha }_{t-1}},0.999){\bar{\alpha }}_t=\frac{f(t)}{f(0)}\mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}f(t)=\cos (\frac{t/T+s}{1+s}\cdot \frac{\pi }{2})$$其中当$t=0$时小偏移量$s$是为了防止${\beta }_t$接近时太小。
 参数化${\mathbf{\Sigma }}_{\theta }$的过程中，Ho等人选择固定${\beta }_t$为常量，而不是使它们可学习并设置${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)={\sigma }_t^2\mathbf{I}$, 其中${\sigma }_t$是不可学习的。实验发现学习对角方差${\mathbf{\Sigma }}_{\theta }$会导致训练不稳定和样本质量下降。Nichol和Dhariwal等人提出将学习${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)$作为$\beta$和${\tilde{\beta }}_t$之间的插值，通过模型预测混合向量$\mathbf{v}$，则有：$${\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t)=\exp (\mathbf{v}\log {\beta }_t+(1-\mathbf{v})\log {\tilde{\beta }}_t)$$简单的目标$L_{\mathrm{s}\mathrm{i}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}$并不依赖于${\mathbf{\Sigma }}_{\theta }$。为了增加依赖性，他们构建了一个混合目标$L_{\mathrm{h}\mathrm{y}\mathrm{b}\mathrm{r}\mathrm{i}\mathrm{d}}=L_{\mathrm{s}\mathrm{i}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}+\lambda L_{\mathrm{V}\mathrm{L}\mathrm{B}}$，其中$\lambda =0.001$很小并且停止在${\mathbf{\mu }}_{\theta }$的梯度，以便$L_{\mathrm{V}\mathrm{L}\mathrm{B}}$仅指导${\mathbf{\Sigma }}_{\theta }$的学习。可以观察到，由于梯度噪声，优化$L_{\mathrm{V}\mathrm{L}\mathrm{B}}$是非常困难的，因此他们建议使用具有重要性采样的时间平均平滑版本。

8 加速扩散模型采样

 通过遵循反向扩散过程的马尔可夫链从DDPM生成样本非常慢，可能长达一个或几千个步骤。从DDPM中采样$50000$个大小为$32\times 32$的图像大约需要$20$小时，但从Nvidia 2080 Ti GPU上的GAN中采样不到一分钟。一种简单的方法是运行跨步抽样计划，每一步都进行抽样更新，以减少中间的采样过程。对于另一种方法，需要重写$q_{\sigma }({\mathbf{x}}_t|{\mathbf{x}}_t,{\mathbf{x}}_0)$以通过所需的标准偏差${\sigma }_t$进行参数化： x t − 1 = α ˉ t − 1 x 0 + 1 − α ˉ t − 1 z t − 1 = α ˉ t − 1 x 0 + 1 − α ˉ t − 1 − σ t 2 z t + σ t z = α ˉ t − 1 x 0 + 1 − α ˉ t − 1 − σ t 2 x t − α ˉ t x 0 1 − α ˉ t + σ t z q σ ( x t − 1 ∣ x t , x 0 ) = N ( x t − 1 ; α ˉ t − 1 x 0 + 1 − α ˉ t − 1 − σ t 2 x t − α ˉ t x 0 1 − α ˉ t , σ t 2 I ) xt−1=√ˉαt−1x0+√1−ˉαt−1zt−1=√ˉαt−1x0+√1−ˉαt−1−σ2tzt+σtz=√ˉαt−1x0+√1−ˉαt−1−σ2txt−√ˉαtx0√1−ˉαt+σtzqσ(xt−1|xt,x0)=N(xt−1;√ˉαt−1x0+√1−ˉαt−1−σ2txt−√ˉαtx01−ˉαt,σ2tI)

xt−1​qσ​​=αˉt−1​ ​x0​+1−αˉt−1​ ​zt−1​=αˉt−1​ ​x0​+1−αˉt−1​−σt2​zt​ ​+σt​z=αˉt−1​ ​x0​+1−αˉt−1​−σt2​ ​1−αˉt​ ​xt​−αˉt​ ​x0​​+σt​z(xt−1​∣xt​,x0​)=N(xt−1​;αˉt−1​ ​x0​+1−αˉt−1​−σt2​ ​1−αˉt​xt​−αˉt​ ​x0​​,σt2​I)​因为$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};\tilde{\mathbf{\mu }}({\mathbf{x}}_t,{\mathbf{x}}_0,{\tilde{\beta }}_t\mathbf{I}))$，因此则有$${\tilde{\beta }}_t={\sigma }_t^2=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t$$令${\sigma }_t^2=\eta \cdot {\tilde{\beta }}_t$，进而可以通过调整为超参数$\eta \in {\mathbb{R}}^{+}$来控制采样随机性。$\eta =0$的特殊情况使采样过程具有确定性，这样的模型被命名为去噪扩散隐式模型（DDIM）。DDIM具有相同的边际噪声分布，但确定性地将噪声映射回原始数据样本。在生成过程中，只对扩散步骤的一个子集$S$进行采样为 { τ 1 , ⋯   , τ S } \{\tau_1,\cdots,\tau_S\} {τ1​,⋯,τS​}，推理过程变为：$$q_{\sigma ,\tau }({\mathbf{x}}_{{\tau }_{i-1}}|{\mathbf{x}}_{{\tau }_t},{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{{\tau }_{i-1}};\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\frac{{\mathbf{x}}_{{\tau }_i}-\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0}{\sqrt{1-{\bar{\alpha }}_t}},{\sigma }_t^2\mathbf{I})$$可以观察到DDIM在较小采样数的情况下可以产生最佳质量的样本，而DDPM在较小采样数的情况下表现要差得多。使用 DDIM可以将扩散模型训练到任意数量的前向步骤，但只能从生成过程中的步骤子集进行采样。总结来说，与DDPM相比，DDIM优点如下：

• 使用更少的步骤生成更高质量的样本。
• 由于生成过程是确定性的，因此具有“一致性”属性，这意味着以相同隐变量为条件的多个样本应该具有相似的高级特征。
• 由于一致性，DDIM可以在隐变量中进行语义上有意义的插值。

9 条件生成

 在ImageNet数据上训练生成模型时，通常会生成以类标签为条件的样本。为了明确地将类别信息纳入扩散过程，Dhariwal和Nichol对噪声图像${\mathbf{x}}_t$训练了一个分类器$f_{\varphi }(y|{\mathbf{x}}_t,t)$，并使用梯度${\nabla }_{\mathbf{x}}\log f_{\varphi }(y|{\mathbf{x}}_t,t)$来引导扩散采样过程朝向目标类别标签$y$。消融扩散模型 (ADM) 和带有附加分类器引导的模型 (ADM-G) 能够获得比当前最好生成模型（BigGAN）更好的结果。此外，Dhariwal和Nichol等人通过对UNet架构进行一些修改，显示出比具有扩散模型的GAN更好的性能。模型架构修改包括更大的模型深度/宽度、更多注意力头、多分辨率注意力、用于上/下采样的BigGAN残差块、残差连接重新缩放和自适应组归一化 (AdaGN)。