深度学习--神经网络基础(2)

在多分类任务通常使用 softmax 将 logits 转换为概率的形式，所以多分类的交叉熵损失也叫做 softmax 损失 ，它的计算方法是：

其中:

1. y 是样本 x 属于某一个类别的真实概率

2. 而 f(x) 是样本属于某一类别的预测分数

3. S 是 softmax 激活函数 , 将属于某一类别的预测分数转换成概率

4. L 用来衡量真实值 y 和预测值 f(x) 之间差异性的损失结果

3.回归任务损失函数

MAE损失函数

Mean absolute loss(MAE)也被称为L1 Loss，是以绝对误差作为距离。损失函数公式:

MSE损失函数

Smooth L1损失函数

代码示例

import torch
 
# 1. 多任务交叉熵损失
# 设置真实值: 可以是热编码后的结果也可以不进行热编码
# 注意的类型必须是64位整型数据
# y_true = torch.tensor([1,2],dtype=torch.int64)
y_true = torch.tensor([[0, 1, 0], [0, 0, 1]], dtype=torch.float32)
y_pred = torch.tensor([[1,10,1],[2,3,10]],dtype=torch.float32)
 
# 实例化多任务交叉熵损失
L= torch.nn.CrossEntropyLoss()
# 计算损失结果
print(L(y_pred,y_true))
 
 
# 2. 二分类的交叉熵
y_true = torch.tensor([0,0,1],dtype=torch.float32)
y_pred = torch.tensor([0.01,0.02,0.7],dtype=torch.float32)
# 二分类交叉熵损失
L= torch.nn.BCELoss()
print(L(y_pred,y_true))
 
 
# 3. 回归任务
y_true = torch.tensor([2.0,0.5,10],dtype=torch.float32)
# y_pred = torch.tensor([2,8,0.9],dtype=torch.float32)
y_pred = torch.tensor([2,0.8,9],dtype=torch.float32)
 
# L =torch.nn.L1Loss() 
# L =torch.nn.MSELoss()
L =torch.nn.SmoothL1Loss()
 
print(L(y_pred,y_true))

梯度计算公式：Dt = β * St-1 + (1- β) * Wt

1. St-1 表示历史梯度移动加权平均值

2. Wt 表示当前时刻的梯度值

3. Dt 为当前时刻的指数加权平均梯度值

4. β 为权重系数

假设：权重 β 为 0.9，例如：

        第一次梯度值：s1 = d1 = w1

        第二次梯度值：d2=s2 = 0.9 * s1 + w2 * 0.1

        第三次梯度值：d3=s3 = 0.9 * s2 + w3 * 0.1

        第四次梯度值：d4=s4 = 0.9 * s3 + w4 * 0.1

梯度下降公式中梯度的计算，就不再是当前时刻 t 的梯度值，而是历史梯度值的指数移动加权平

均值。公式修改为：

W_t+1 = W_t - a * Dt

AdaGrad 通过对不同的参数分量使用不同的学习率， AdaGrad 的学习率总体会逐渐减小 。

其计算步骤如下：

1. 初始化学习率 α 、初始化参数 θ 、小常数 σ = 1e-6

2. 初始化梯度累积变量 s = 0

3. 从训练集中采样 m 个样本的小批量，计算梯度 g

4. 累积平方梯度 s = s + g ⊙ g ， ⊙ 表示各个分量相乘

学习率 α 的计算公式如下：

参数更新公式如下：

重复 2-4 步骤 , 即可完成网络训练。

AdaGrad 缺点是可能会使得学习率过早、过量的降低，导致模型训练后期学习率太小，较难找到最优解。

RMSProp 优化算法是对 AdaGrad 的优化 . 最主要的不同是，其使用 指数移动加权平均梯度 替换历史梯度 的平方和。其计算过程如下：

1. 初始化学习率 α 、初始化参数 θ 、小常数 σ = 1e-6

2. 初始化参数 θ

3. 初始化梯度累计变量 s

4. 从训练集中采样 m 个样本的小批量，计算梯度 g

5. 使用指数移动平均累积历史梯度，公式如下：

学习率 α 的计算公式如下：

参数更新公式如下：

高级数字化人才培训

专家

-Momentum 使用指数加权平均计算当前的梯度值

-AdaGrad、RMSProp 使用自适应的学习率

-Adam优化算法（Adaptive Moment Estimation，自适应矩估计）将 Momentum 和

 RMSProp 算法结合在一起。

        1.修正梯度: 使⽤ 梯度的指数加权平均

        2.修正学习率: 使⽤ 梯度平 ⽅ 的指数加权平均 。

import torch
from torch import optim
 
# 1. SGD
# 初始化权重参数
w = torch.tensor([1.0],requires_grad=True)
y = (w**2/2.0).sum()  # 损失函数
 
# 优化方法:SGD指定参数beta(momentum)
# optimizer = optim.SGD([w],lr=0.01,momentum=0.9)
 
# 优化方法: Adagrad
# optimizer = optim.Adagrad([w],lr=0.01)
 
# 优化方法: RMSProp
optimizer = optim.RMSprop([w],lr=0.01,alpha=0.9)
 
# 优化方法:Adam
optimizer = optim.Adam([w],lr=0.01,betas=[0.9,0.99])
 
 
 
# 第一次更新计算梯度,并对参数进行更新
optimizer.zero_grad() # 梯度清零
y.backward()  # 自动微分
optimizer.step()  # 更新权重
# 打印结果
print(w.detach().numpy())  # w本身
print(w.grad.numpy())   # 梯度结果
 
# 第二次更新计算梯度,并对参数进行更新
y = (w**2/2.0).sum()
optimizer.zero_grad() # 梯度清零
y.backward()  # 自动微分
optimizer.step()  # 更新权重
# 打印结果
print(w.detach().numpy())
print(w.grad.numpy())

学习率衰减方法

等间隔学习率衰减

先对数据标准化，再对数据重构（缩放 + 平移），如下所示：

1. λ 和 β 是可学习的参数，它相当于对标准化后的值做了一个 线性变换 ， λ 为系数， β 为偏置；

2. eps 通常指为 1e-5 ，避免分母为 0 ；

3. E(x) 表示变量的均值；

4. Var(x) 表示变量的方差；