DL Homework 3 - 码农知识堂

DL Homework 3

给定训练集 $D=\left \{ x^{(n)},y^{(n)} \right \}^{N}_{n=1}$ ,将每个样本 $x^{(n)}$ 输入给前馈神经网络，得到网络输出为 $\hat{y}^{(n)}$ ,其在数据集上的结构化风险为

$\Re(W,b)=\frac{1}{N}\sum_{n=1}^{N}\iota (y^{(n)},\hat{y}^{(n)})+\frac{1}{2}\lambda \left \| W \right \|_F^2$

首先简单解释一下这堆话，结构化风险=经验风险+正则化项,经验风险为 $\frac{1}{N}\sum_{n=1}^{N}\iota (y^{(n)},\hat{y}^{(n)})$ ，对于 $\iota (\cdot )$ 函数我们大多数采取的为交叉熵函数， $\iota (y,\hat{y})=-y^Tlog(\hat{y})$ ,正则化项为 $\frac{1}{2}\lambda \left \| W \right \|_F^2$ ，首先神经网络的学习目的是减小损失函数的值，并且防止训练集的过拟合，这时，例如为损失函数加上范数，也就是我们所说的正则化项。这样一来，就可以抑制权重变大。用符号表示的话，如果将权重记为，范数的权值衰减就是 $\frac{1}{2}\lambda W^2$ ，然后将这个 $\frac{1}{2}\lambda W^2$ 加到损失函数上。这里， $\lambda$ 是控制正则化强度的超参数。 $\lambda$ 设置得越大，对大的权重施加的惩罚就越重。此外, $\frac{1}{2}\lambda W^2$ 开头的 $\frac{1}{2}$ 是用于将 $\frac{1}{2}\lambda W^2$ 的求导结果变成 $\lambda W$ 的调整用常量。

对于所有权重，权值衰减方法都会为损失函数加上 $\frac{1}{2}\lambda W^2$ 。因此，在求权重梯度的计算中，要为之前的误差反向传播法的结果加上正则化项的导数 $\lambda W$ ，这样就可以用来防止过拟合.
相关阅读:
VBA 输出到CMD控制台显示暨更新当前行显示
 Jmeter之接口测试基础篇
 B_QuRT_User_Guide(26)
《LC刷题总结》——回溯
 2.21每日一题（隐函数求导+变上限积分求导）
经典动态规划问题的递归实现方法——LeetCode39 组合总和
 并发编程中的锁、条件变量和信号量
 Android hid发送apdu格式数据
 基于vue+MySQL的外包项目信息系统
 JAVA足球青训俱乐部管理后台系统计算机毕业设计Mybatis+系统+数据库+调试部署
原文地址：https://blog.csdn.net/m0_70026215/article/details/133824690