DL Homework 3 - 码农知识堂

DL Homework 3

给定训练集 $D=\left \{ x^{(n)},y^{(n)} \right \}^{N}_{n=1}$ ,将每个样本 $x^{(n)}$ 输入给前馈神经网络，得到网络输出为 $\hat{y}^{(n)}$ ,其在数据集上的结构化风险为

$\Re(W,b)=\frac{1}{N}\sum_{n=1}^{N}\iota (y^{(n)},\hat{y}^{(n)})+\frac{1}{2}\lambda \left \| W \right \|_F^2$

首先简单解释一下这堆话，结构化风险=经验风险+正则化项,经验风险为 $\frac{1}{N}\sum_{n=1}^{N}\iota (y^{(n)},\hat{y}^{(n)})$ ，对于 $\iota (\cdot )$ 函数我们大多数采取的为交叉熵函数， $\iota (y,\hat{y})=-y^Tlog(\hat{y})$ ,正则化项为 $\frac{1}{2}\lambda \left \| W \right \|_F^2$ ，首先神经网络的学习目的是减小损失函数的值，并且防止训练集的过拟合，这时，例如为损失函数加上范数，也就是我们所说的正则化项。这样一来，就可以抑制权重变大。用符号表示的话，如果将权重记为，范数的权值衰减就是 $\frac{1}{2}\lambda W^2$ ，然后将这个 $\frac{1}{2}\lambda W^2$ 加到损失函数上。这里， $\lambda$ 是控制正则化强度的超参数。 $\lambda$ 设置得越大，对大的权重施加的惩罚就越重。此外, $\frac{1}{2}\lambda W^2$ 开头的 $\frac{1}{2}$ 是用于将 $\frac{1}{2}\lambda W^2$ 的求导结果变成 $\lambda W$ 的调整用常量。

对于所有权重，权值衰减方法都会为损失函数加上 $\frac{1}{2}\lambda W^2$ 。因此，在求权重梯度的计算中，要为之前的误差反向传播法的结果加上正则化项的导数 $\lambda W$ ，这样就可以用来防止过拟合.
相关阅读:
linux的基本工具【yum和vim】
《Map-Matching for Low-Sampling-Rate GPS Trajectories》读书笔记
 对比学习的锚网络和自动生成标签
 Ubuntu上安装部署k8s集群
 Linux4
使用 Echarts 插件完成中国地图
 25.leetcode---只出现一次的数字(Java版)
计算机毕业设计springboot+vue+elementUI基本微信小程序的新冠疫苗预约小程序
 前端周刊第三十二期
 Linux操作文档——Linux运维面试掌握
原文地址：https://blog.csdn.net/m0_70026215/article/details/133824690