神经网络简介

1.写作目的

理清神经网络基本结构

2.神经网络

对于非线性结构的数据，很难找到一条直线将数据集进行有效划分，例如感知机无法解决抑或问题。
而神经网络的出现则可通过多个神经元相互配合，通过对数据点的计算分析，共同找到数据点的分布规律，通过不断迭代改进的方法，摸索数据集之间的分解线。

1）基本结构

神经网络由三部分构成：输入层、隐藏层、输出层

补充：
（1）为什么称为隐藏层：训练数据并没有给出每一层所需的输出，故称作隐藏层
（2）隐藏层做什么：隐藏层本质上是一个个函数，隐藏层上的每个神经元接受到输入，经过加工给出一个输出
（3）隐藏层上的函数被称作激活函数

2）激活函数

激活函数通常作用在隐藏层上，激活函数的种类有很多，包括：sigmoid函数、Tanh、ReLU

3）计算过程

以上图为例，有x1,2,3三个输入结点，三个输入与隐藏层的每个结点都存在一条有向边，此外每个边都会被赋予一定的权值。
输入与相应的权重相乘得到的数值，将作为隐藏层激活函数的输入，经过计算，隐藏层会给出相应的输出值。
重复上述运算过程，直至到输出结点，输出节点将会给出一个数值。

4）反向传播

上述计算过程得到的数值与正确数值之间可能存在偏差，这时候可以通过迭代调整有向边上的权重来减小与正确值之间的误差。这个过程就被称作反向传播。