动手学深度学习(三)---Softmax回归

softmax回归

一、理论知识

• 回归估计一个连续值
• 分类预测一个离散类别
  回归
• 单连续数值输出
• 自然区间R
• 跟真实值的区别作为损失
  
  分类
• 通常多个输出
• 输出i是预测为第i类的置信度
  
  一般我们使用交叉熵用来衡量两个概率的区别
  
  将它作为损失
  
  其梯度是真实概率和预测概率的区别：