人工神经网络及相关概念

一、定义：

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

二、经典的神经网络结构

1、残差网络(Residual Networks/ResNet)

2、循环神经网络 (Recurrent Neural Network/RNN) 

3、长短期记忆网络(Long Short Term Memory Network/LSTM)

4、卷积神经网络 (Convolutional Neural Network/CNN) 

5、反卷积神经网络(Deconvolutional Neural Network/DNN)

6、生成对抗网络(Generative Adversarial Network/GAN)

7、自动编码器(Auto Encoder/AE)

三、神经网络层

与人的神经元之间进行神经冲动的传播形式类似，神经网络也是一个处理单元连接另外一个处理单元，每一个处理单元称为一个层，通过不同种类的层之间相互堆叠，形成了一个完整的、能够实现一定功能的复杂网络。超过三层的非线性神经网络都可以被称为深度神经网络。

四、常用的神经网络层

1、卷积层

      负责提取图像中的局部特征  

2、全连接层

        全连接层的每一个节点都和上一层所有的节点相连，从而把之前提取到的特征综合起来。

3、池化层

        用来大幅降低参数量级(降维)

五、神经网络相关术语

1、神经元：

       它包括输入信号、加权求和、加偏置项、激活函数、输出信号5个部分，见下图：

 神经元模型可以使用以下公式表达，其中输入信号x是一个m维向量，m表示记录的特征数量，向量x各个维度上的分量即对应特征的值。权重w也是一个m维向量，b为偏置项，输出信号y是一个值：

2、多层连接：

        大量节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。

3、前向计算：

        从输入计算输出的过程，顺序从网络前至后。

4、计算图：

         以图形化的方式展现神经网络的计算逻辑又称为计算图