1、softmax回归模型

softmax回归模型和线性回归一样将输入特征和权重做线性叠加，softmax回归的输出个数等于标签里的类别数。例如在一个图片分类的问题中，输入的图像为2x2像素图片，分别记为x1，x2，x3，x4。对应数据集的真实标签为狗，猫，鸡，记为o1，o2，o3。


softmax回归同线性回归一样，也是一个单层神经网络。输出层也是一个全连接层。

2、softmax运算

问题：1.输出层输出的范围不确定。2.很难度量其与真实值之间的误差
解决：softmax运算——将输出值变化成值为正且和为1的概率分布

softmax回归对样本i分类的矢量计算表达式为：

3、交叉熵损失函数（cross entropy）——用于分类模型

4、总结

1、softmax回归适用于多分类问题，它使用softmax运算输出类别的概率分布
2、softmax回归是一个单层神经网络，输出个数等于分类问题的类别个数
3、交叉熵适合衡量两个概率分布的差异