基于流的深度生成模型

1 引言

 到目前为止，两种生成模型$\mathrm{G}\mathrm{A}\mathrm{N}$和$\mathrm{V}\mathrm{A}\mathrm{E}$并不能准确地从真实数据$\mathbf{x}\in \mathcal{D}$中学习出概率分布$p(\mathbf{x})$。以隐变量的生成模型为例，在计算积分$p(\mathbf{x})=\int p(\mathbf{x}|\mathbf{z})d\mathbf{z}$时，需要遍历所有的隐变量$\mathbf{z}$的取值这是非常困难，且不切实际的。基于$\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w}$的生成模型在正则化流（正则化流是估计概率分布非常有力的工具）帮助下可以更好的解决这个问题。一个的概率分布$p(\mathbf{x})$好的估计可以完成很多任务，比如说数据生成，预测未来事件概率估计，数据样本增强等。

2 生成模型的种类

 当前生成模型的种类可以主要分为三种，分别是基于$\mathrm{G}\mathrm{A}\mathrm{N}$的生成模型，基于$\mathrm{V}\mathrm{A}\mathrm{E}$的生成模型和基于$\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w}$的生成模型：

• 生成对抗网络（GAN）： GAN是由两个神经网络组成，分别是生成器和判别器。生成器的目的是从噪声$\mathbf{z}$中学习生成真实的数据样本${\mathbf{x}}^{\prime }$，而判别器的目的是区分出真实的样本$\mathbf{x}$和生成的样本${\mathbf{x}}^{\prime }$。在训练的过程中，两个网络在玩一个$\min \text{-}\max$的博弈游戏中相互促进相互提高。
• 变分自动编码器（VAE）： GAN是也是由两个神经网络组成，分别是编码器和解码器。编码器是将数据样本$\mathbf{x}$编码成隐向量$\mathbf{z}$，解码器将隐向量$\mathbf{z}$映射回样本数据${\mathbf{x}}^{\prime }$。VAE是在最大化变分下界中，粗略地优化数据的对数似然估计。
• 基于$\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w}$的生成模型： 一个基于$\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w}$的生成模型是由一系列的可逆变换器组成。它可以使得模型能够更加精确的学习到数据分布$p(\mathbf{x})$，它的损失函数是一个负对数似然函数。
  

3 预备知识

 在了解基于$\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w}$的生成模型之前，需要知道三个关键的数学概念，分别是雅可比矩阵，行列式和变量替换定理。

3.1 雅可比矩阵和行列式

 给定一个映射函数$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$，将$n$维输入向量$\mathbf{x}$映射为$m$维的输出向量。雅可比矩阵是函数$f$关于输入向量$\mathbf{x}$所有分量的一阶偏导数
J = [ ∂ f 1 ∂ x 1 ⋯ ∂ f 1 ∂ x n ⋮ ⋱ ⋮ ∂ f m ∂ x 1 ⋯ ∂ f m ∂ x n ] {\bf{J}}=\left[∂f1∂x1⋯∂f1∂xn⋮⋱⋮∂fm∂x1⋯∂fm∂xn

\right] J=⎣⎢⎡​∂x1​∂f1​​⋮∂x1​∂fm​​​⋯⋱⋯​∂xn​∂f1​​⋮∂xn​∂fm​​​⎦⎥⎤​而行列式是用于计算一个方阵的，结果为一个实值标量。行列式的绝对值可以被认为是“矩阵的乘法扩展或收缩了多少空间”的度量。一个$n\times n$方阵$M$的行列式如下所示$$\mathrm{d}\mathrm{e}\mathrm{t}(M)=\mathrm{d}\mathrm{e}\mathrm{t}\left(\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\right)=\sum _{j_1{j}_2\cdots j_n}(-1{)}^{\tau (j_1{j}_2\cdots j_n)}{a}_{1j_1}{a}_{2j_2}\cdots a_{n{j}_n}$$其中求和下的下标$j_1{j}_2\cdots j_n$是集合 { 1 , ⋯   , n } \{1,\cdots,n\} {1,⋯,n}的所有置换，共有$n!$项。$\tau$表示的是置换的符号。方阵$M$行列式取值为$0$时，则不可逆，反之亦然。行列式乘积公式为$$\mathrm{d}\mathrm{e}\mathrm{t}(AB)=\mathrm{d}\mathrm{e}\mathrm{t}(A)\cdot \mathrm{d}\mathrm{e}\mathrm{t}(B)$$

3.2 变量替换定理

 给定一个单变量随机变量$z$，已知它的概率分布为$z\sim \pi (z)$，如果想要用一个映射函数$f$构造一个新的随机变量$x$，即$x=f(z)$，其中$f$是可逆的，即$z=f^{-1}(x)$，则新随机变量的概率分布推导如下所示$$\int p(x)dx=\int \pi (z)dz=1$$$$p(x)=\pi (z)\frac{dz}{dx}=\pi (f^{-1}(x))\frac{d{f}^{-1}}{dx}=\pi (f^{-1}(x))|(f^{-1}{)}^{\prime }(x)|$$根据定义可知，积分$\int \pi (z)dz$是无穷多个宽度$\Delta z$无穷小的矩形之和。该位置$z$处矩形的高度是密度函数$\pi (z)$的值。当进行变量替换时，由$z=f^{-1}(x)$得到$\frac{\Delta z}{\Delta x}=(f^{-1}(x){)}^{\prime }$和$\Delta z=(f^{-1}(x){)}^{\prime }$。$|f^{-1}(x){|}^{\prime }$表示在两个不同的变量坐标中定义矩形面积之间的比例。多变量的版本如下所示：
$$\mathbf{z}\sim \pi (\mathbf{z}),\mathbf{x}=f(\mathbf{z}),\mathbf{z}=f^{-1}(\mathbf{x})$$$$p(\mathbf{x})=\pi (\mathbf{z})\cdot \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d\mathbf{z}}{d\mathbf{x}}\right)=\pi (f^{-1}(\mathbf{x}))\cdot \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}^{-1}}{d\mathbf{x}}\right)$$其中$\mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{\partial f}{\partial \mathbf{z}}\right)$为雅可比矩阵的行列式。

4 标准化流

 对概率分布进行良好的密度估计在许多机器学习问题中有直接的应用，但这是非常困难的。例如，由于我们需要在深度学习模型中运行反向传播，因此嵌入变量的概率分布（即后验$p(\mathbf{z}|\mathbf{x})$）预计足够简单，可以轻松有效地计算导数。这就是为什么在隐变量生成模型中经常使用高斯分布的原因，尽管大多数真实世界的分布比高斯分布复杂得多。标准化流模型则可以用于更好、更强大的分布近似。标准化流通过应用一系列可逆变换函数将简单分布转换为复杂分布。通过一系列变换，根据变量替换定理反复替换新变量，最终得到最终目标变量的概率分布。

如上图的图示，对应则有以下公式
z i − 1 ∼ p i − 1 ( z i − 1 ) z i = f i ( z i − 1 ) ,   z i − 1 = f i − 1 ( z i ) p i ( z i ) = p i ( f i − 1 ( z i ) ) ⋅ d e t d f i − 1 d z i zi−1∼pi−1(zi−1)zi=fi(zi−1), zi−1=f−1i(zi)pi(zi)=pi(f−1i(zi))⋅detdf−1idzi

zi−1​zi​pi​(zi​)​∼pi−1​(zi−1​)=fi​(zi−1​), zi−1​=fi−1​(zi​)=pi​(fi−1​(zi​))⋅detdzi​dfi−1​​​根据以上公式可以推知概率分布$p_i({\mathbf{z}}_i)$表示为$$\begin{array}{rl}{p}_i({\mathbf{z}}_i)& =p_{i-1}(f_i^{-1}({\mathbf{z}}_i))\cdot \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}_i^{-1}}{d{\mathbf{z}}_i}\right)\\ & =p_{i-1}({\mathbf{z}}_{i-1})\cdot \mathrm{d}\mathrm{e}\mathrm{t}{\left(\frac{d{f}_i}{d{\mathbf{z}}_{i-1}}\right)}^{-1}\\ & =p_{i-1}({\mathbf{z}}_{i-1})\cdot {\left[\mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}_i}{d{\mathbf{z}}_{i-1}}\right)\right]}^{-1}\\ \log p_i({\mathbf{z}}_i)& =\log p_{i-1}({\mathbf{z}}_{i-1})-\log \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}_i}{d{\mathbf{z}}_{i-1}}\right)\end{array}$$以上公式推导中用到了反函数定理，即如果$y=f(x)$且$x=f^{-1}(y)$，进而则有
$$\frac{d{f}^{-1}(y)}{dy}=\frac{dx}{dy}={\left(\frac{dy}{dx}\right)}^{-1}={\left(\frac{df(x)}{dx}\right)}^{-1}$$雅可比矩阵的反函数定理为：一个可逆矩阵逆的行列式为这个矩阵行列式的倒数，即$\mathrm{d}\mathrm{e}\mathrm{t}(M^{-1})=(\mathrm{d}\mathrm{e}\mathrm{t}(M){)}^{-1}$，因为$\mathrm{d}\mathrm{e}\mathrm{t}(M)\cdot \mathrm{d}\mathrm{e}\mathrm{t}(M^{-1})=\mathrm{d}\mathrm{e}\mathrm{t}(M\cdot M^{-1})=\mathrm{d}\mathrm{e}\mathrm{t}(I)=1$。给定这样一系列概率密度函数，我们知道每对连续变量之间的关系。所以可以通过输出$\mathbf{x}$直到追溯到初始分布${\mathbf{z}}_0$。$$\begin{array}{rl}\mathbf{x}={\mathbf{z}}_k& =f_K\circ f_{K-1}\circ \cdots f_1({\mathbf{z}}_0)\\ \log p(\mathbf{x})=\log {\pi }_K({\mathbf{z}}_K)& =\log {\pi }_{K-1}({\mathbf{z}}_{K-1})-\log \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}_K}{d{\mathbf{z}}_{K-1}}\right)\\ & =\log {\pi }_{K-2}({\mathbf{z}}_{K-2})-\log \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}_{K-1}}{d{\mathbf{z}}_{K-2}}\right)-\log \mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{d{f}_K}{d{\mathbf{z}}_{K-1}}\right)\\ & =\cdots \\ & =\log {\pi }_0({\mathbf{z}}_0)-\sum _{i=1}^K\log \det \left(\frac{d{f}_i}{d{\mathbf{z}}_{i-1}}\right)\end{array}$$随机变量${\mathbf{z}}_i=f_i({\mathbf{z}}_{i-1})$穿过的路径就是一条流，连续分布${\pi }_i$形成的全链被称为标准化流。根据方程的计算要求，变换函数应该满足两个特性，分别是函数可逆和雅可比矩阵行列式计算容易。

5 标准化流

 通过标准化流求输入数据的精确对数似然变得更加容易，基于流的生成模型的训练损失函数为训练数据集上的负对数似然$$\mathcal{L}(\mathcal{D})=-\frac{1}{|\mathcal{D}|}\sum _{\mathbf{x}\in \mathcal{D}}\log p(\mathbf{x})$$

5.1 RealNVP

 RealNVP模型通过叠加可逆双射变换函数序列来实现标准化流。在每个双射$f:\mathbf{x}\to y$中，输入维度分为两部分：

• $d$维度保持不变；
• 第$d+1$维度到$D$维度，进行仿射变换（“缩放和平移”），缩放和平移参数都是第一维度的函数。$$\begin{array}{rl}{\mathbf{y}}_{1:d}& ={\mathbf{x}}_{1:d}\\ {\mathbf{y}}_{d+1:D}& ={\mathbf{x}}_{d+1:D}\odot \exp (s({\mathbf{x}}_{1:d}))+t({\mathbf{x}}_{1:d})\end{array}$$其中$s(\cdot )$和$t(\cdot )$是缩放和平移函数，映射都为${\mathbb{R}}^d\to {\mathbb{R}}^{D-d}$，$\odot$操作符表示的按元素乘积。

对于标准化流的条件1为函数可逆在RealNVP模型中是非常容易实现的，具体函数如下所示 { y 1 : d = x 1 : d y d + 1 : D = x d + 1 : D ⊙ exp ⁡ ( s ( x 1 : d ) ) + t ( x 1 : d )    ⟺    { x 1 : d = y 1 : d x d + 1 : D = ( y d + 1 : D − t ( y 1 : d ) ) ⊙ exp ⁡ ( − s ( y 1 : d ) ) \left\{y1:d=x1:dyd+1:D=xd+1:D⊙exp(s(x1:d))+t(x1:d)

\right. \iff \left\{x1:d=y1:dxd+1:D=(yd+1:D−t(y1:d))⊙exp(−s(y1:d))

\right. {y1:d​yd+1:D​​=x1:d​=xd+1:D​⊙exp(s(x1:d​))+t(x1:d​)​⟺{x1:d​xd+1:D​​=y1:d​=(yd+1:D​−t(y1:d​))⊙exp(−s(y1:d​))​
对于标准化流条件2中雅可比行列式容易计算在RealNVP模型同样可以实现，其雅可比矩阵为下三角矩阵，具体矩阵如下所示$$\mathbf{J}=\left[\begin{array}{cc}{\mathbb{I}}_d& 0_{d\times (D-d)}\\ \frac{\partial {\mathbf{y}}_{d+1:D}}{\partial {\mathbf{x}}_{1:d}}& \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\exp (s({\mathbf{x}}_{1:d})))\end{array}\right]$$因此，行列式只是对角线上的项的乘积。$$\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{J})=\prod _{j=1}^{D-d}\exp (s({\mathbf{x}}_{1:d}){)}_j=\exp \left(\sum _{j=1}^{D-d}s({\mathbf{x}}_{1:d}{)}_j\right)$$到目前为止，仿射耦合层看起来非常适合构建标准化流。更好的是，由于计算$f^{-1}$不需要计算$s$或$t$的逆，并且计算雅比行列式不涉及计算$s$或$t$的雅可比矩阵，因此这些函数可以是任意复杂的，两者都可以用深层神经网络建模。在一个仿射耦合层中，某些维度（通道）保持不变。为了确保所有的输入都有机会被更改，模型颠倒了每一层中的顺序，以便不同的模块组件保持不变。按照这种交替模式，在一个转换层中保持相同的单元集总是在下一个转换层中修改。批量标准化有助于使用非常深的耦合层堆栈来训练模型。此外，RealNVP可以在多尺度体系结构中工作，为大型输入构建更高效的模型。多尺度体系结构将若干“采样”操作应用于普通仿射层，包括空间棋盘模式掩蔽、压缩操作和通道掩蔽。
 NICE模型是RealNVP的前作，NICE中的变换是没有尺度项的仿射耦合层，称为加性耦合层$$\{\begin{array}{rl}{\mathbf{y}}_{1:d}& ={\mathbf{x}}_{1:d}\\ {\mathbf{y}}_{d+1:D}& ={\mathbf{x}}_{d+1:D}+m({\mathbf{x}}_{1:d})\end{array}⟺\{\begin{array}{rl}{\mathbf{x}}_{1:d}& ={\mathbf{y}}_{1:d}\\ {\mathbf{x}}_{d+1:D}& ={\mathbf{y}}_{d+1:D}-m({\mathbf{y}}_{1:d})\end{array}$$

5.2 Glow

 $\mathrm{G}\mathrm{l}\mathrm{o}\mathrm{w}$模型扩展了以前的可逆生成模型 $\mathrm{N}\mathrm{I}\mathrm{C}\mathrm{E}$和$\mathrm{R}\mathrm{e}\mathrm{a}\mathrm{l}\mathrm{N}\mathrm{V}\mathrm{P}$，并通过用可逆$1\times 1$卷积替换通道排序上的反向置换操作来简化架构。$\mathrm{G}\mathrm{l}\mathrm{o}\mathrm{w}$中的一个流程中的一个步骤包含三个子步骤：

• 激活归一化： 它使用每个通道的比例和偏置参数执行仿射变换，类似于批量归一化，但适用于批量大小为$1$。参数是可训练的，但已初始化，因此小批量数据在激活归一化之后具有均值为$0$和标准差为$1$。
• 可逆$1\times 1$卷积： 在$\mathrm{R}\mathrm{e}\mathrm{a}\mathrm{l}\mathrm{N}\mathrm{V}\mathrm{P}$流的各层之间，通道的顺序是相反的，因此所有数据维度都有机会被更改。具有相同数量的输入和输出通道的$1\times 1$卷积是任何通道排序排列的泛化。假设有一个输入张量维度为张量$\mathbf{h}\in {\mathbb{R}}^{h\times w\times c}$的可逆$1\times 1$卷积，其权重矩阵为$\mathbf{W}\in {\mathbb{R}}^{c\times c}$。 输出是一个$h\times w\times c$的张量，记为$f=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}2\mathrm{d}(\mathbf{h};\mathbf{W})$。 为了应用变量替换定理，需要计算雅可比行列式$\left|\mathrm{d}\mathrm{e}\mathrm{t}\left(\frac{\partial f}{\partial \mathbf{h}}\right)\right|$。$\mathbf{h}$中的每个元素${\mathbf{x}}_{ij}(i=1,\cdots ,h,j=1,\cdots ,2)$是一个$c$通道数的向量，每个元素乘以权重矩阵分别得到输出矩阵中对应的元素${\mathbf{y}}_{ij}$。每个元素的导数为$\frac{\partial {\mathbf{x}}_{ij}\mathbf{W}}{\partial {\mathbf{x}}_{ij}}=\mathbf{W}$，并且总计有共有$h\times w$个元素：
  $$\log \det \left(\frac{\partial \mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}2\mathrm{d}(\mathbf{h};\mathbf{W})}{\partial \mathbf{h}}\right)=\log (|\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{W}){|}^{h\cdot w})=h\cdot w\cdot \log |\det (\mathbf{W})|$$可逆$1\times 1$卷积取决于逆矩阵$\mathbf{W}$。 由于权重矩阵比较小，所以矩阵行列式和求逆的计算量还是在可控范围内的。
• 仿射耦合层： $\mathrm{G}\mathrm{l}\mathrm{o}\mathrm{w}$的仿射耦合层的结构设计与$\mathrm{R}\mathrm{e}\mathrm{a}\mathrm{l}\mathrm{N}\mathrm{V}\mathrm{P}$的仿射耦合层相同。

6 自回归流的模型

 自回归约束是一种对序列数据$\mathbf{x}=[x_1,\cdots ,x_D]$建模的方法：每个输出只依赖于过去观察到的数据，而不依赖于未来的数据。换句话说，观察的概率$x_i$是依赖于序列数据$x_1,\cdots ,x_{i-1}$，这些条件概率的乘积为提供了观察完整序列的概率：$$p(\mathbf{x})=\prod _{i=1}^{D}p(x_i|x_1,\cdots ,x_{i-1})=\prod _{i=1}^{D}p(x_i|x_{1:i-1})$$

6.1 MADE

 $\mathrm{M}\mathrm{A}\mathrm{D}\mathrm{E}$是一种专门设计的架构，可以有效地在自编码器中执行自回归属性。当使用自动编码器来预测条件概率时，$\mathrm{M}\mathrm{A}\mathrm{D}\mathrm{E}$不是向自动编码器提供不同观察窗口时间的输入，而是通过乘以二进制掩码矩阵来消除某些隐藏单元的贡献，以便每个输入维度仅从给定的先前维度重构进行一次性传播。给定一个有$L$个隐层的全连接神经网络，其权重矩阵为${\mathbf{W}}^1,\cdots {\mathbf{W}}^L$，和一个输出层的权重矩阵$\mathbf{V}$，输出的每个维度有${\hat{x}}_i=p(x_i|x_{1:i-1})$，当没有掩码矩阵的时候，神经网络前向传播的过程为如下所示： h 0 = x h l = a c t i v a t i o n l ( W l h l − 1 + b l ) x ^ = σ ( V h L + c ) h0=xhl=activationl(Wlhl−1+bl)ˆx=σ(VhL+c)

h0hlx^​=x=activationl(Wlhl−1+bl)=σ(VhL+c)​为了将层之间的一些连接归零，可以简单地将每个权重矩阵按元素乘以一个二进制掩码矩阵。每个隐藏节点都分配有一个随机的“连接整数”，介于$1$和$D-1$之间； 第$k$层中第$l$个单元的分配值表示为$m_k^l$。通过逐元素比较两层中两个节点的值来确定二进制掩码矩阵，则有$$\begin{array}{rl}{\mathbf{h}}^l& ={\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}^l(({\mathbf{W}}^l\odot {\mathbf{M}}^{{\mathbf{W}}^l}){\mathbf{h}}^{l-1}+{\mathbf{b}}^l)\\ \hat{\mathbf{x}}& =\sigma ((\mathbf{V}\odot {\mathbf{M}}^{\mathbf{V}}){\mathbf{h}}^L+\mathbf{c})\\ M_{k^{\prime },k}^{{\mathbf{W}}^l}& =1_{m_{k^{\prime }}^l\ge m_k^{l-1}}=\{\begin{array}{ll}1,& \mathrm{i}\mathrm{f}{m}_{k^{\prime }}^l\ge m_k^{l-1}\\ 0,& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\\ M_{d,k}^{\mathbf{V}}& =1_{d\ge m_k^L}=\{\begin{array}{ll}1,& \mathrm{i}\mathrm{f}d>m_k^L\\ 0,& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\end{array}$$如下图的例子所示，当前层中的一个单元只能连接到前一层中具有相同或更小随机数的其它单元，并且这种类型的依赖关系很容易通过网络传播到输出层。一旦将随机数字分配给所有单元和层，输入维度的顺序就固定了，并且相对于它产生了条件概率。为了确保所有隐单元都通过一些路径连接到输入和输出层，采样$m_k^l$等于或大于前一层中的最小连接整数${\min }_{k^{\prime }}{m}_{k^{\prime }}^{l-1}$

6.2 WaveNet

 $\mathrm{W}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$由一堆因果卷积组成，这是一种旨在尊重排序的卷积操作：在某个时间戳的预测只能消耗过去观察到的数据，不依赖于未来。$\mathrm{W}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$中的因果卷积只是将输出移动多个时间戳到未来，以便输出与最后一个输入元素对齐。卷积层的一大缺点是感受视野的大小非常有限。 输出几乎不能依赖于数百或数千个时间步之前的输入，这可能是对长序列建模的关键要求。 因此，$\mathrm{W}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$采用扩张卷积，其中内核应用于输入的更大感受视野中均匀分布的样本子集。$\mathrm{W}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{N}\mathrm{e}\mathrm{t}$使用门控激活单元作为非线性层，因为它被发现在建模一维音频数据方面比$\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}$工作得更好，在门控激活之后应用残差连接，具体公式如下所示$$\mathbf{z}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathbf{W}}_{f,k}\otimes \mathbf{x})\odot \sigma ({\mathbf{W}}_{g,k}\otimes \mathbf{x})$$其中${\mathbf{W}}_{f,k}$和${\mathbf{W}}_{g,k}$分别是第$k$层的卷积滤波器和门权重矩阵，两者都是可学习的。

6.3 MAF

 $\mathrm{M}\mathrm{A}\mathrm{F}$是一种标准化流，其中转换层构建为自回归神经网络。 $\mathrm{M}\mathrm{A}\mathrm{F}$与后面介绍的$\mathrm{I}\mathrm{A}\mathrm{F}$ 非常相似。给定两个随机变量$\mathbf{z}\sim \pi (\mathbf{z})$和$\mathbf{x}\sim p(\mathbf{x})$，并且概率密度函数$\pi (\mathbf{z})$已知，$\mathrm{M}\mathrm{A}\mathrm{F}$旨在学习$p(\mathbf{x})$。$\mathrm{M}\mathrm{A}\mathrm{F}$生成每个$x_i$以过去的维度${\mathbf{x}}_{1:i-1}$为条件。准确地说，条件概率是$\mathbf{z}$的仿射变换，其中尺度和移位项是$\mathbf{x}$的观察部分的函数。数据生成时，会产生出一个新的$\mathbf{x}$，公式如下所示$$x_i\sim p(x_i|{\mathbf{x}}_{1:i-1})=z_i\odot {\sigma }_i({\mathbf{x}}_{1:i-1})+{\mu }_i({\mathbf{x}}_{1:i-1})$$给定$\mathbf{x}$时，密度估计为$$p(\mathbf{x})=\prod _{i=1}^{D}p(x_i|{\mathbf{x}}_{1:i-1})$$该框架的方法优点在于生成过程是顺序的，因此设计速度很慢。而密度估计只需要使用$\mathrm{M}\mathrm{A}\mathrm{D}\mathrm{E}$等网络架构。变换函数对逆很简单，雅可比行列式也很容易计算。

6.4 IAF

 与$\mathrm{M}\mathrm{A}\mathrm{F}$类似，逆自回归流$\mathrm{I}\mathrm{A}\mathrm{F}$也将目标变量的条件概率建模为自回归模型，但采用反向流动，从而实现了非常有效的采样过程。$\mathrm{M}\mathrm{A}\mathrm{F}$中的仿射变换为：$$z_i=\frac{x_i-{\mu }_i({\mathbf{x}}_{1:i-1})}{{\sigma }_i({\mathbf{x}}_{1:i-1})}=-\frac{{\mu }_i({\mathbf{x}}_{1:i-1})}{{\sigma }_i({\mathbf{x}}_{1:i-1})}+x_i\odot \frac{1}{{\sigma }_i({\mathbf{x}}_{1:i-1})}$$如果令
x ~ = z ,   p ~ ( ⋅ ) = π ( ⋅ ) ,   x ~ ∼ p ~ ( x ~ ) x ~ = x   , π ~ ( ⋅ ) = p ( ⋅ ) ,   z ~ ∼ π ~ ( z ~ ) μ ~ i ( z ~ 1 : i − 1 ) = μ ~ i ( x 1 : i − 1 ) = − μ i ( x 1 : i − 1 ) σ i ( x 1 : i − 1 ) σ ~ ( z ~ 1 : i − 1 ) = σ ~ ( x 1 : i − 1 ) = 1 σ i ( x 1 : i − 1 ) ˜x=z, ˜p(⋅)=π(⋅), ˜x∼˜p(˜x)˜x=x ,˜π(⋅)=p(⋅), ˜z∼˜π(˜z)˜μi(˜z1:i−1)=˜μi(x1:i−1)=−μi(x1:i−1)σi(x1:i−1)˜σ(˜z1:i−1)=˜σ(x1:i−1)=1σi(x1:i−1)

​x~=z, p~​(⋅)=π(⋅), x~∼p~​(x~)x~=x ,π~(⋅)=p(⋅), z~∼π~(z~)μ~​i​(z~1:i−1​)=μ~​i​(x1:i−1​)=−σi​(x1:i−1​)μi​(x1:i−1​)​σ~(z~1:i−1​)=σ~(x1:i−1​)=σi​(x1:i−1​)1​​则有$${\tilde{x}}_i\sim p({\tilde{x}}_i|{\tilde{\mathbf{z}}}_{1:i})={\tilde{z}}_i\odot {\tilde{\sigma }}_i({\tilde{\mathbf{z}}}_{1:i-1})+{\tilde{\mu }}_i({\tilde{\mathbf{z}}}_{1:i-1}),\mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}\tilde{\mathbf{z}}\sim \tilde{\pi }(\tilde{\mathbf{z}})$$如下图示所示，$\mathrm{I}\mathrm{A}\mathrm{F}$打算估计已知$\tilde{\pi }(\tilde{\mathbf{z}})$的给定$\tilde{\mathbf{x}}$的概率密度函数。逆流也是自回归仿射变换，与$\mathrm{M}\mathrm{A}\mathrm{F}$相同，但尺度和移位项是已知分布$\tilde{\pi }(\tilde{\mathbf{z}})$中观察变量的自回归函数。

单个元素${\tilde{x}}_i$的计算不相互依赖，因此它们很容易并行化。已知$\tilde{\mathbf{x}}$的密度估计效率不高，因为必须按顺序恢复${\tilde{z}}_i$的值，即为${\tilde{z}}_i=({\tilde{x}}_i-{\tilde{\mu }}_i({\tilde{\mathbf{z}}}_{1:i-1}))/{\tilde{\sigma }}_i({\mathbf{z}}_{1:i-1})$，因此总计需要$D$次估计。