数学建模-BP神经网络模型

bp神经网络是一种按误差逆传播算法训练的多层前馈网络，是一种多层的前馈神经网络，是目前应用最广泛的神经网络模型之一。其主要的特点是：信号是前向传播的，而误差是反向传播的。bp神经网络的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。
以一个三层 BP 神经网络举例：

人工神经元模型

人工神经网络（NN）的基本单元的神经元模型：
它有三个基本要素：
（1）一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。
（2）一个求和单元，用于求取各输入信号的加权和。
（3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在 （ 1 , 0 ）或 （ -1 , 1 ) 之间）。
其中x为输入信号，w为神经元k之权值。

网络结构及工作方式

从连接方式看 NN 主要有两种。
(1)前馈型网络
各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个入，但只有一个输出。信息从输入层开始输入，每层的神经元接收前一级输入，并输出到下一级，直至输出层。整个网络信息输入传输中无反馈（循环）。即任何层的输出都不会影响同级层。
常见的前馈神经网络包括卷积神经网络（CNN）、全连接神经网络（FCN)、生成对抗网络(GAN)等。

(2)反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播。
NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。
常见的反馈神经网络包括循环神经网络(RNN)、长短期记忆网络(LSTM)、Hopfield网络和玻尔兹曼机。

采用BP学习算法(Back Propagation)的前馈神经网络称为BP神经网络。