深度学习中的激活函数

给定一个线性变换可以把x的值映射到一条直线上，如下图

输出结果就是y1=w1x+b1
如果y1经过一个线性变换得到一个y2，那么x和y2的关系是什么？

答案，毫无疑问是一条直线，不管如何的线性变换，依旧是一个线性的问题，那如何变成非线性问题呢？

在线性单元后面增加一个非线性函数 f 就行
f(当做是从输入到输出的激活过程，因此被称为激活函数)