【Deep learning】MLP多层感知机

目录

1 简介

2  激活函数的作用？

3 一个双隐层的前馈全连接神经网络(多层感知机 )

1 简介

      多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network）。
      除了输入层和输出层，它中间可以有多个隐层。

      最简单的MLP只包含一个隐层。

 
      多层感知机层与层之间是全连接的。

      多层感知机最底层是输入层，中间是隐藏层，最后是输出层。

      MLP一般还会加上ReLU、Sigmoid等非线性的激活函数。 隐含层到输出层可以是一个softmax分类器。

     假设输入层用向量X表示，则隐藏层的输出：
     Z = WX + b。然后f(Z)。其中，W是权重，b是偏置，函数f 是激活函数。

2  激活函数的作用？

     如果不使用激活函数，那么无论网络多少层，其实就相当于1层。
     具体解释：每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。

3 一个双隐层的前馈全连接神经网络(多层感知机 )

   

     如图，它有两个隐层，每个隐层都是全连接层。
     全连接(Full Connection)：神经网络中除输入层之外的每个节点都和上一层的所有节点有连接。