python交叉熵nn.CrossEntropyLoss的计算过程及意义解释

简述计算过程

参考：https://blog.csdn.net/liangjiu2009/article/details/107769512
这里引用了参数连接中的图片,图片中求对数的工程应该是ln,自然对数

一、假设一个矩阵

X = [ x 1 x 2 x 3 x 4 ] \bm X=

X=[x1​x3​​x2​x4​​]
二、对矩阵数据中的每个进行softmax计算
对每一行的每一个参数求（以第一行为例）
$${\mathbf{t}}_i=\frac{e^{x_i}}{\sum _{i=1}^2{e}_i^x}\text{\hspace{1em}(1)}$$
最终X矩阵转化为，
y = [ t 1 t 2 t 3 t 4 ] (2) \bm y=

[t1t2t3t4]" role="presentation">[t1t3t2t4]$$\left[\begin{array}{cc}{t}_1& t_2\\ t_3& t_4\end{array}\right]$$

\tag{2} y=[t1​t3​​t2​t4​​](2)
三、对softmax结果的矩阵每个进行log操作
对每个数据进行自然对数的log计算
f = [ l n   t 1 l n   t 2 l n   t 3 l n   t 4 ] = [ x 1 − l n ∑ i = 0 4 e i x x 2 − l n ∑ i = 0 4 e i x x 3 − l n ∑ i = 3 4 e i x x 4 − l n ∑ i = 3 4 e i x ] (2) \bm f=

[ln t1ln t2ln t3ln t4]" role="presentation">[ln t1ln t3ln t2ln t4]$$\left[\begin{array}{cc}ln{t}_1& ln{t}_2\\ ln{t}_3& ln{t}_4\end{array}\right]$$

=

[x1−ln∑i=04eixx2−ln∑i=04eixx3−ln∑i=34eixx4−ln∑i=34eix]" role="presentation">⎡⎣⎢⎢⎢⎢x1−ln∑i=04exix3−ln∑i=34exix2−ln∑i=04exix4−ln∑i=34exi⎤⎦⎥⎥⎥⎥$$\left[\begin{array}{cc}{x}_1-ln\sum _{i=0}^4{e}_i^x& x_2-ln\sum _{i=0}^4{e}_i^x\\ x_3-ln\sum _{i=3}^4{e}_i^x& x_4-ln\sum _{i=3}^4{e}_i^x\end{array}\right]$$

\tag{2} f=[ln t1​ln t3​​ln t2​ln t4​​]=⎣⎢⎢⎡​x1​−lni=0∑4​eix​x3​−lni=3∑4​eix​​x2​−lni=0∑4​eix​x4​−lni=3∑4​eix​​⎦⎥⎥⎤​(2)
四、根据目标的索引位置提取出矩阵中的位置，取出值然后取反，然后取平均
如果目标矩阵的索引是[0,1],那么就需要取出$x_1-ln\sum _{i=1}^2{x}_i$和$x_4-n\sum _{i=3}^4{x}_i$，然后将两个值进行求平均后取反：
$$-(x_1-ln\sum _{i=1}^2{e}_i^x+x_4-l{n}_e\sum _{i=3}^4{e}_i^x)/2\text{\hspace{1em}(3)}$$

一个简单的实例

import torch.nn as nn
import torch

x = torch.tensor([[1.0,2.0],[3.0,4.0]])
y = torch.tensor([0,1])

loss_func = nn.CrossEntropyLoss()
print(loss_func(x,y))  # tensor(0.8133)
1
2
3
4
5
6
7
8

可以实验一下，是按照每行来计算的，若使用两行三列的输入，
[ 1 2 3 4 5 6 ] (4)

\tag{4} [14​25​36​](4)
从上面的解释可以看出，若按照行这标签中的onehot编码值不能大于2，且只有两个标签值。通过改变标签的数量和大小的报错情况判断是按照行的计算。

交叉熵的意义

例如，对两个字符的索引预测，输入就相当于每个可能字符 的概率，标签就相当于正确字符对应的索引。那么**输入的概率必定在0_{1之间**，及每个x的值在0}1之间，那么下面的函数：(c代表不包含当前位置的求和)
$$f(x_m)=\frac{e^{x_m}}{\sum _{i=0}^n{e}_i^x}=\frac{e^{x_m}}{e^{x_m}+\sum _{i\ne m}^n{e}_i^x}=\frac{e^{x_m}}{e^{x_m}+c}\text{\hspace{1em}(5)}$$
将公式5简记为：
$$f(x)=\frac{e^x}{e^x+c}\text{\hspace{1em}(6)}$$
将6式求导可知：
$$f^{\prime }(x)=\frac{e^x(e^x+c)-e^x\ast e^x}{(e^x+c{)}^2}\ge 0\text{\hspace{1em}(6)}$$
所以，在0~1范围内，$f(x)$单调递增，且$$0<f(x)<1$$对f(x)求自然对数,**也是单调递增，但取的对数值小于0，再取反后是大于0但变为单调递减。**这也就是我们最终交叉熵损失函数的趋势。
网络中的损失函数都是为了求得最小值，则随着x增大而减小的损失函数刚好满足要求，而x最大也是接近1，其他位置的概率接近0，而pytorch中的交叉熵会对上述结果进行相加求均值