BP神经网络理论

1.什么是神经网络?
2.BP神经网络的提出
3.应用的领域
4.BP神经网络的结构
5.优劣势

一.什么是神经网络?

神经网络包括生物神经网络和人工神经网络。
1.生物神经网络，一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识、帮助生物进行思考和行动。
2.人工神经网络（Artificial Neural Networks，简写为ANNs)也简称为神经网络，是一种模仿动物神经网络行为特征,进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

二.BP神经网络的提出

BP (Back Propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。

三、BP神经网络应用的领域

1.BP神经网络被广泛应用于多个研究领域领，如环境、生物、医学、气象、天文、地
理、经济学、管理学、工业、统计学、计算机、移动通信、航天、信息技术、目动化、能源、新材料、海洋等领域。
2.BP神经网络应用的主要方面预测
电力运行负荷、血红蛋白浓度、房价、股市、水资源需求、风速、地质灾害等。评价
城市安全、河流健康、教学质量、网络安全、水环境、生态风险、灾害损失等。图像处理
图像降噪、图像分类、图像复原、图像压缩、图像校正、图像分割、图家加密寸。仿真
移动机器人避障仿真、物流交通仿真、无人机姿态自适应仿真、工业控制仿真等。

四、BP神经网络的结构

1.BP神经网络是一种典型的非线性算法。BP神经网络由输入层、输出层和之间若干层(一层或多层）隐含层构成，每一层可以有若干个节点。层与层之间节点的连接状态通过权重来体现。只有一个隐含层的时候，这样的BP神经网络属于传统的浅层神经网络;当有多个隐含层的时候，这样的BP神经网络属于深度学习的神经网络。


2.感知器BP神经 网络中的单个节点
感知器(Perceptron) 的概念，在1950s由Frank Rosenblat第一次引入。包括输入项、权
重、偏置、激活函数、输出组成。

3.BP神经网络的核心步骤
BP (Back Propagation)神经网络的核心步骤如下。其中，实线代表正向传播，虚线代表反向传播。

BP神经网络的正向传播
正向传播就是指数据（或信息、信号）从输入端输入之后，沿着网络的指向，乘以对应的权重之后再加和，在将结果作为输入在激活函数中进行计算，将计算的结果作为输入传递给下一个节点。依次计算,直到得到最终的输出。
通过感知器的讲解，输入X经过层层计算，得到输出。这个过程，是正向传播阶段。
BP神经网络的反向传播
反向传播是指将输出的结果与理想的输出结果进行比较，将输出结果与理想输出结果之间的误差利用网络进行反向传播的过程，本质是一个"负反馈"的过程。具体的过程是通过多次迭代的过程，不断地对网络上各个节点间的所有的权重进行调整，权重调整的方法采用梯度下降法。
通过迭代的方法寻找函数最小值
解析解:通过严格的公示推倒计算，给出的方程的精确解，任意精度下满足方程。数值解:在一定条件下，通过某种近似计算得到的解，能够在给定的精度下满足方程。
BP神经网络反向传播为什么选择梯度下降法
当一个人站在山顶或者半山腰，想要以最快的速度到达山脚，那么哪条路最快呢?是每一步都下降最快的路,变化最快。在数学上，用梯度的概念来描述。梯度是一个矢量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（梯度方向)变化最快,变化率（该梯度的模)最大。当梯度取”正"时,上升最快;当梯度取“负”时,下降最快。

图解法是将函数的计算过程用图的方式展示出来。任何一个函数都可以用下面的这种计算图展示出来。当我们遇到复杂的函数，图解法就变得非常有用。图解法有助于讲解反向传播的具体步骤。

什么是局部梯度?
局部梯度，是指考虑单个节点上的梯度，而不考虑该节点之前的梯度。局部梯度概念的引入，结合链式法则，能够更方便的理解和计算反向传播。

BP神经网络训练(权重的更新迭代)

五、优劣势

1.优势：
主要用于以下四个方面：
函数逼近
模式识别
分类
数据压缩

2.劣势：
学习速度慢，需要多次学习才能收敛
采用梯度下降法，容易陷入局部最小值
网络层数、神经元个数的选取没有理论指导，主要凭借经验
网络推广能力有限