第4章前馈神经网络

系列文章目录

第1章绪论
第2章机器学习概述
第3章线性模型
第4章前馈神经网络
第5章卷积神经网络
第6章循环神经网络
第7章网络优化与正则化
第8章注意力机制与外部记忆
第9章无监督学习
第10章模型独立的学习方式
第11章概率图模型
第12章深度信念网络
第13章深度生成模型
第14章深度强化学习
第15章序列生成模型

前言

本文对前馈神经网络进行了一个简要介绍。

4.1 神经元

4.1.1 神经元

生物神经元:
在这里插入图片描述
人工神经元:

4.1.2 激活函数的性质

连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
激活函数及其导函数要尽可能的简单有利于提高网络计算效率。
激活函数的导函数的值域要在一个合适的区间内不能太大也不能太小，否则会影响训练的效率和稳定性。

4.1.3 常用的激活函数

Logistic函数与Tanh函数
在这里插入图片描述
性质：

饱和函数:函数两边都趋近于固定值
Tanh函数是零中心化的，而logistic函数的输出恒大于0非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（bias shift），并进一步使得梯度下降的收敛速度变慢。

斜坡函数 在这里插入图片描述
特点：

计算上更加高效
生物学合理性单侧抑制、宽兴奋边界
在一定程度上缓解梯度消失问题
但无法进行梯度传播

Swish函数：
在这里插入图片描述

高斯误差线性单元
（Gaussian Error Linear Unit，GELU）

其中P(X ≤ x)是高斯分布N(µ,σ 2 )的累积分布函数，其中µ,σ为超参数，一般设µ = 0,σ = 1即可。

由于高斯分布的累积分布函数为S型函数，因此GELU可以用Tanh函数或Logistic函数来近似：
在这里插入图片描述

4.1.4 常见激活函数及其导数

在这里插入图片描述

4.2 神经网络

4.2.1 人工神经网络

神经元的激活规则：
主要是指神经元输入到输出之间的映射关系，一般为非线性函数。

网络的拓扑结构：
不同神经元之间的连接关系。

学习算法：
通过训练数据来学习神经网络的参数。

4.2.2 网络结构

在这里插入图片描述
注：圆形节点表示一个神经元，方形节点表示一组神经元。

4.3前馈神经网络

4.3.1 前馈网络结构

在这里插入图片描述
给定一个前馈神经网络，用下面的记号来描述这样网络：

4.3.2 信息传递过程

前馈神经网络通过下面公式进行信息传播：
在这里插入图片描述
前馈计算：

4.3.3 深层前馈神经网络

在这里插入图片描述

4.3.4通用近似定理

在这里插入图片描述

根据通用近似定理，对于具有线性输出层和至少一个使用“挤压”性质的激活函数的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可以以任意的精度来近似任何从一个定义在实数空间中的有界闭集函数。

4.3.5 应用到机器学习

应用到机器学习
神经网络可以作为一个“万能”函数来使用，可以用来进行复杂的特征转换，或逼近一个复杂的条件分布。
在这里插入图片描述
如果g(⋅)为Logistic回归，那么Logistic回归分类器可以看成神经网络的最后一层。

对于多分类问题

如果使用Softmax回归分类器，相当于网络最后一层设置C 个神经元，其输出经过Softmax函数进行归一化后可以作为每个类的条件概率。
在这里插入图片描述
采用交叉熵损失函数，对于样本(x,y)，其损失函数为

在这里插入图片描述

4.3.6 参数学习

参数学习
给定训练集为 $D=\{(x^{(n)},y^{(n)})\}^N_{n=1}$ ，将每个样本 $x^{(n)}$ 入给前馈神经网络，得到网络输出为 $\hat y^{(n)}$ ，其在数据集D上的结构化风险函数为：
在这里插入图片描述 梯度下降

4.4 计算梯度的方法

矩阵微分
矩阵微积分（Matrix Calculus）是多元微积分的一种表达方式，即使用矩阵和向量来表示因变量每个成分关于自变量每个成分的偏导数。
分母布局的矩阵微分
标量关于向量的偏导数
在这里插入图片描述
向量关于向量的偏导数

链式法则

矩阵微分的链式法则

注：本文的链式法则是由右向左列出分布求导的公式。