梯度消失现象,模型无法继续收敛，sigmoid函数以前被广泛使用，现在很少被人使用。Tanh激活函数
榕树贷款Tanh是双曲函数中的双曲正切函数.在数学中, 双曲正切函数都是由双曲正弦函数和双曲余弦函数推导而来
榕树贷款和Sigmoid函数很相似，但是Tanh函数的输出范围为(-1，1)，Sigmoid函数的输出范围为（0，1）。
PyTorch中同样有两种实现方式
ReLU激活函数
榕树贷款双曲正切函数和Sigmoid函数都差不多，都有梯度消失的现象，解析式中也存在幂运算，计算的时间也慢。
榕树贷款为了解决梯度消失的问题，线性修正单元函数(Rectified Linear Units，简称ReLU) 就被发明了出来。
ReLU函数是现在最常用的激活函数之一：
x为常数，当x<0时，ReLU全部取值为0，梯度也为0，减少了梯度运算的成本。
当x>=0时，ReLU的取值为x，梯度始终为固定的一个值，解决了梯度消失的问题。