softmax，softmax loss和交叉熵的关系

交叉熵

对于分类问题的交叉熵损失函数:
$L=\frac{1}{n}{\sum }_{i=1}^n(-{\sum }_{j=1}^C{y}_{i,j}\log p_{i,j})$
n为batchSize的大小，C为分类问题中类的数目，$y_{i,j}$为第 i 个样本在第 j 类上的真实标签，$p_{i,j}$为第i个样本对第j类的预测概率

举个例子：
假设是三分类(cat, dog, pig)问题：一共有两个样本x1,x2，分布对应的真实类别为y1=dog,y2=cat. y用one-hot方式表示，即$y_1$=[$y_{1,1},y_{1,2},y_{1,3}$]=[0,1,0],$y_2$=[$y_{2,1},y_{2,2},y_{2,3}$]=[1,0,0]

设$p_1=(p_{1,1},p_{1,2},p_{1,3})=[0.1,0.8,0.1]$
$p_2=(p_{2,1},p_{2,2},p_{2,3})=[0.7,0.2,0.1]$

则交叉熵为：
$L=\frac{1}{2}(-1\ast log0.8-1\ast log0.7)$
这里可以看到实际上只有当前样本对应的类计算出来是有值的，因为其他地方都是0。所以，公式可以简化为：

$L=\frac{1}{n}{\sum }_{i=1}^n(-\log p_{i,Y_i})$

$Y_i$ 用来指示第 i 个样本所属的类别，比如例子中的$Y_1$=2， $Y_2$=1
$p_{i,Y_i}$表示第 i 个样本在其所属类别上的预测概率

那么交叉熵和softmax function有什么关系呢？ 神经网络的输出通常称为 logit（logit是模型的raw outputs, 还没有通过softmax layer. 也就是softmax layer的输入就是logit.） , 也就是全连接层输出的结果，其范围是不确定的，$\in (-\infty ,+\infty )$,而softmax可以将这样的输出转为（0,1）之间，所以将 logit 用softmax转换为概率值就可以用来计算交叉熵

Softmax函数：

$$p_{i,j}=\frac{e^{l_{i,j}}}{{\sum }_{k=1}^C{e}^{l_{i,k}}}$$

记$p_{i,j}$为第 i 个样本属于第j类的预测概率, $l_{i,j}$为神经网络对第 i 个样本在第 j 类的输出 logit, C为类的数目

logit是模型的raw outputs, 还没有通过softmax layer. 也就是softmax layer的输入就是logit.

softmax loss:

$$L=\frac{1}{n}\sum _{i=1}^n(-\log p_{i,Y_i})=\frac{1}{n}\sum _{i=1}^n(-\log \frac{e^{l_{i,j}}}{{\sum }_{k=1}^C{e}^{l_{i,k}}})$$

参考博客，讲的超好！！！
为什么softx要用指数函数
最大熵模型