人工智能基础_机器学习026_L1正则化_套索回归权重衰减梯度下降公式_原理解读---人工智能工作笔记0066

然后我们继续来看套索回归,也就是线性回归,加上了一个L1正则化对吧,然后我们看这里

L1正则化的公式是第二个,然后第一个是原来的线性回归,然后

最后一行紫色的,是J= J0+L1 对吧,其实就是上面两个公式加起来

然后我们再去看绿色的

第一行,其实就是原来线性回归的梯度下降公式,这里的n 表示学习率,也是步幅对吧

然后第二行是加上了L1正则的,梯度下降公式

然后我们把加上了L1的梯度下降公式,进行展开,可以看到上面

绿色的部分公式:

第一行是 线性回归梯度下降公式

第二行是 添加了L1的套索回归梯度下降公式

第三行是 是线性回归的导数,其实就是对这一部分求导

然后我们再看对于L1求导来说,是

我们知道L1是 |w1|+|w2|  = L1 是绝对值不可以求导那么就要去掉绝对值

然后进行分段求导,分段求导,其实就是