激活函数（机器学习）

以下简单解释一下什么是激活函数，以及激活函数的作用，以及它的作用范围。

第一步：表示神经网络中的一个神经元

---

假设该神经元有三个输入单元，分别为 𝑥1,𝑥2,𝑥3  那么：

𝑧=𝑥1𝑤1+𝑥2𝑤2+𝑥3𝑤3+𝑏

𝑎=𝜎𝑧a=σ(z)

第二步：就是激活函数

---

它的作用是给神经网络增加非线性因素，并将中间结果归一化，方便后面的运算。

把计算结果压缩到 [0,1] 之间，便于后面的计算。

 

第三步：激活函数的性质

 第四步：用1来代表一个神经元被激活，0代表一个神经元未被激活。

---

神经网络中的概念，用1来代表一个神经元被激活，0代表一个神经元未被激活。

这个阶跃函数的缺点是，它的梯度（导数）恒为零（个别点除外)。

反向传播公式中，梯度传递用到了链式法则，如果在这样一个连乘的式子其中有一项是零，总梯度就会恒为零，这意味着神经网络无法进行反向传播。

第五步：激活函数用在神经网络层与层之间的连接，最后一层不用激活函数。

---

激活函数用在神经网络层与层之间的连接，最后一层不用激活函数。

简言之：

神经网络最后一层不需要激活函数。

激活函数只用于连接相邻的两层神经网络。