深度学习入门笔记（7）—— Multinomial Logistic Regression / Softmax Regression

首先介绍一个非常著名的多分类数据集 MNIST，也就是 0 到 9 的手写数字数据集。每个图像都是 28 * 28，用于Pytorch 数据读取的格式是 NCHW，即 Number、Channel、Height、Weight。

读取图像之后，就能看到一个只有单通道的（灰度）图像，实际上就是一行行像素值的组合，用于 Softmax Regression 时输入得是一个向量，所以要将一行行的像素进行拼接，成为一个长的向量。同时，将像素值从 0 - 255 转化为 0 - 1 有利于梯度下降。

回顾之前的 Logistic Regression，就是输入向量 x 与权重向量 w 做点积再加上偏置 b 得到 Net input（加权和），然后经过 Sigmoid 函数，得到一个概率输出，这个概率就是在输入为 x 的条件下预测为 y = 1 的后验概率。

将 Logistic Regression 拓展到多分类任务中，最简单的方法就是使用多个 Logistic Regression，当类别数为 h ，输入特征数为 m 时，可以得到 h 个长度为 m 的权重向量 w，构成的权重矩阵 W 大小为 h * m。每一个概率输出都是当输入为 x 时预测为某一个类的后验概率，但是各个类的概率之和不为 1，因此该模型适用于不互斥类的多分类任务。

对于互斥类的多分类任务，我们希望各个类的输出概率之和为 1，此时就可以使用 Softmax 函数。

Softmax 函数实际上就是一个指数归一化函数，使得 h 个类的后验概率求和等于 1

假设有四个训练样本，它们的标签分别为 0、1、3、2，经过 Onehot Encoding 之后，就能得到四个标签向量（行向量），如第一个训练样本的标签向量为 [1, 0, 0, 0]

引出 Onehot Encoding 之后，就可以介绍交叉熵损失函数的拓展 —— 多元交叉熵了。$y^{[i]}$ 是第 i 个训练样本的标签向量，如前面举例过的 [1, 0, 0, 0]；${y_j}^{[i]}$ 则表示第 i 个训练样本的标签向量的第 j 个类位置的取值，也就是 0 或 1；${a_j}^{[i]}$ 则是 Softmax 函数输出矩阵的对应位置的值，即第 i 行第 j 列的值。下面是例子：

假设我们有四个训练样本，类别数为 3，则标签矩阵和 Softmax 的输出矩阵都是 4 * 3；计算第一个训练样本的 Loss，就是标签矩阵的第一行与 Softmax 输出矩阵的第一行对应位置的 log ，相乘再相加。

四个训练样本的 Loss 计算都是同理

将各个训练样本的 Loss 加起来就是训练集上的损失。