DBN (deep belief network，深度置信网络)，是使用RBM(Restricted Boltzmann Machines，受限波尔兹曼机 )构成的一种深度神经网络。

一、RBM简介

RBM属于一种无监督学习的方法，无监督学习的目的是最大可能地拟合训练数据。

下图为RBM的结构，其中下层神经元组成显层 (visible layer)，由显元 (visible units) 组成，用于输入数据；上层神经元组成隐层(Hidden layer)，由隐元 (hidden units) 组成，用于特征提取。

二、训练DBN

训练 DBN 的过程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层 (高一层) 的数据向量。

经典的DBN网络结构是由若干层 RBM 和一层 BP 组成的一种深层神经网络, 结构如下图所示.

DBN 在训练模型的过程中主要分为两步:

• 第1步：按照顺序依次训练每一层RBM网络，确保特征向量映射到不同特征空间时，能保留尽可能多的特征信息；

• 第2步：在DBN最后一层设置BP网络，同时将最后一个RBM的输出特征向量作为BP网络的输入特征向量，有监督地训练实体关系分类器。接着反向传播网络将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络。

在训练模型中，第1步称作预训练，第2步称作微调。有监督学习不一定是BP网络，可以根据需要换成任何分类器模型。

DBN算法本质

从其非监督学习的部分来讲，目的是尽可能地保留原始特征的特点，同时降低特征的维度；

从其有监督学习的部分来讲，目的在于使得分类错误率尽可能地小。

不论是监督学习还是非监督学习，DBN算法本质都是Feature Learning的过程，即如何得到更好的特征表达。

---

---

---

参考资料：
深度置信网络（DBN）