logistic挤压型激活函数（机器学习）

本文主要讲了什么是挤压型函数以及挤压型函数的作用，以及logistic函数

 

目录

第一步：这一类函数的特点

第二步：logistic函数

Logistic函数的优缺点

---

第一步：这一类函数的特点

---

当输入值域的绝对值较大的时候，其输出在两端是饱和的，都具有S形的函数曲线以及压缩输入值域的作用，所以叫挤压型激活函数，又可以叫饱和型激活函数。

通常用Sigmoid 来表示，原意是S型的曲线，在数学中是指一类具有压缩作用的S型的函数，在神经网络中，有两个常用的 Sigmoid 函数，一个是 Logistic 函数，另一个是Tanh 函数。

本系列中的约定

Sigmoid ：指        对数几率函数        用于激活函数时的称呼；

Logistic ：指        对数几率函数        用于二分类函数时的称呼；

Tanh ：指        双曲正切函数        用于激活函数时的称呼。

在二分类任务中最后一层使用的对率函数与在神经网络层与层之间连接的Sigmoid激活函数，是同样的形式。所以它既是激活函数，又是分类函数，是个特例。

第二步：logistic函数

---

 

定义域和值域:

输入定义域：(-∞,∞)；

函数输出域：(0,1)；

导函数输出域：（0，0.25）

Logistic函数的优缺点

---

优点

从函数图像来看， Sigmoid 函数的作用是将输入压缩到 (0, 1) 这个区间范围内，这种输出在(0, 1) 间的函数可以用来模拟一些概率分布的情况，还是一个连续函数，导数简单易求。

从数学上来看， Sigmoid 函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。

从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区， 将非重点特征推向两侧区。

缺点

指数计算代价大。

反向传播时梯度消失。