深度学习中的分类和回归（1）

1. 回归与分类

在深度学习中，有回归和分类这两类问题。回归问题预测的是一个连续值，比如预测房价；而分类问题输出的是多个值，输出i就代表将结果预测为i的置信度。

 回归：估计一个连续值

分类：预测一个离散类别

举一个非常经典的例子

另外一个数据集是ImageNet

2.对类别进行编码

比如，一共有5个类别，那么第一个类别的编码就是[1,0,0,0,0]，第二个类别是[0,1,0,0,0]，以此类推。假设现在神经网络得到的各个类别的预测值分别是 o1, o2, o3， 那么就选择置信度最大的值作为预测值：

 一个好的分类网络应该要让正确类别获得的置信度远远大于其他类别。

3.指数化 和 归一化

我们希望输出的每个类别的置信度能够表示成概率的形式（代表结果匹配某一类别的概率），这就要求每一个类别得到的“分数”和为1且非负。可以使用以下这一公式将置信度转换为概率：

softmax的作用是实现每个向量非负，且和为零。

4. 交叉熵损失函数

如何衡量两个概率之间的差别呢？一般我们用交叉熵来做这件事。交叉熵的定义：

 

 

paddlepaddle实现softmax分类

Softmax-API文档-PaddlePaddle深度学习平台https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/nn/Softmax_cn.html#softmax

参考：

Softmax 回归_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1K64y1Q7wu?p=1