YOLOv5算法改进（18）— 更换激活函数（SiLU、ReLU、ELU、Hardswish、Mish、Softplus等）

前言：Hello大家好，我是小哥谈。激活函数在神经网络中起到引入非线性因素的作用。如果不使用激活函数，神经网络的每一层都只会做线性变换，多层输入叠加后仍然是线性变换。然而，线性模型的表达能力通常不够，因此激活函数的作用就显现出来了。激活函数通过对线性变换的输出进行非线性映射，引入了非线性因素，从而增强了神经网络的表达能力。在YOLOv5中，使用了不同的激活函数。本节课就简单介绍一下常见的激活函数并重点讲解如何去更换激活函数！🌈 

 前期回顾：