分类问题经典算法 | 多分类问题 | Softmax回归：梯度下降

【前景回顾】

这里我们先来总结Logistic回归算法：

模型函数 $p=sigmoid(wx+b)$

函数解释：Logistic回归不仅可以解决线性分类问题，对于非线性分类问题也可以解决，即通过多项式扩展方式

目标函数 $loss=-yln(p)-(1-y)ln(1-p)$

其中，对于参数
{ ω ′ = ω − α ∂ l o s s ∂ w b ′ = b − α ∂ l o s s ∂ b \left\{

ω′=ω−α∂loss∂wb′=b−α∂loss∂b" role="presentation" style="position: relative;">ω′=ω−α∂loss∂wb′=b−α∂loss∂b$$\begin{array}{c}{\omega }^{\prime }=\omega -\alpha \frac{\mathrm{\partial }loss}{\mathrm{\partial }w}\\ \\ b^{\prime }=b-\alpha \frac{\mathrm{\partial }loss}{\mathrm{\partial }b}\end{array}$$

\right. ⎩ ⎨ ⎧​ω′=ω−α∂w∂loss​b′=b−α∂b∂loss​​

前面我们在文章中讨论了二分类问题，下面我们来讨论多分类问题

一. 多分类问题解决策略

对于有多个类别的样本，我们常采用的策略是：

1. 一对一策略 OVO (One-vs-One)

	假设我们现在有A、B、C三类
		做法：
			1. 取A和B，用二分类方法对其进行分类
			    取A和C，用二分类方法对其进行分类
				取B和C，用二分类方法对其进行分类
			2. 进行上述操作后，得到三个分类器，即C1，C2，C3
			3. 对于新进样本，根据投票或者概率最大者来确定最终的类别
1
2
3
4
5
6
7

构造分类器个数：$k(k-1)/2，其中k为类别个数$

2. 一对剩余策略 OVR（One-vs-Rest）

	假设我们现在有A、B、C三类
		做法：
			1. 取A和B、C，用二分类方法对其进行分类
			    取B和A、C，用二分类方法对其进行分类
				取C和A、B，用二分类方法对其进行分类
			2. 进行上述操作后，得到三个分类器，即C1，C2，C3
			3. 对于新进样本，用得到的分类器一一进行判断，根据概率最大来确定最终的类别
1
2
3
4
5
6
7

二. Softmax回归算法

对于上面提到的两种多分类策略，在对某个新数据预测时，都存在一个缺点：
    C个分类器预测得到的C个概率之和不等于1
    即：关于某个样本类别，在C个分类器下的预测值无相关性
针对上面的问题，Softmax回归算法能很好解决这个问题

---

假设我们采集到数据后，进行标注，得到数据集如下：

$$x_1^{(i)},x_2^{(i)},...,x_N^{(i)},y^{(i)}$$
其中，数据集的A分类标记为$y^{(i)}=0$
      数据集的B分类标记为$y^{(i)}=1$
      数据集的C分类标记为$y^{(i)}=2$
      数据集的D分类标记为$y^{(i)}=3$
…

对于共有C个类别的分类问题，我们可以采用上述OVR策略得到C个分类器，并用距离d来衡量某个样本属于某类的可能：
$$d={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_N{x}_N，其中d的取值为(-\infty ,+\infty )$$

这里需要重点理解下d的具体含义：
以三分类OVR策略为例子，就得到了三个分类器

假设我们得到分类器C1：

C1:区分A类和B、C类的决策边界

假设我们用C1作为分类器：

对新输入数据进行判定时，相当于对该样本点做C1分类器的垂线，即上述式子d

请注意，这个d值判定的是该样本点属于A类的概率

这一点与Logistic函数是类似的

计算的$h_{\theta }(x)$结果是以正样本为依据
即所计算的样本属于 正样本/正类 的概率

我们定义Softmax函数为
$$S=\frac{e^i}{\sum e^i}$$

将d带入Softmax函数，即
$$h_{\theta }(x)=S(d(\theta ))=S({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...)$$
对于OVR策略下的多分类而言，我们得到x属于y时的概率为：
$$P(y|x;\theta )=h_{\theta }(x{)}^{y^{(i)}}$$
这样我们就可以得到似然函数
$$L(\theta )=\prod _{i=1}^M{h}_{\theta }(x^{(i)}{)}^{y^{(i)}}$$
接下来，我们对似然函数求对数，得到公式
$$l(\theta )=ln\left[L(\theta )\right]=\sum _{i=1}^M{y}^{(i)}ln[h_{\theta }(x^{(i)})]$$
结合我们对Logistic回归函数的讲解，softmax回归的损失函数就可以定义为：
$$J(\theta )=-l(\theta )=\sum _{i=1}^M-y^{(i)}ln[h_{\theta }(x^{(i)})]$$
下面，我们来求解梯度：

在开始推导前，我们为了好描述，对参数做以下解释：
 
若我们有三个分类器：

C1：假定判定猫和其他类，d是关于$\beta$的一套参数
C2：假定判定狗和其他类，d是关于$\alpha$的一套参数
C3：假定判定鸟和其他类，d是关于$\gamma$的一套参数

假设想用分类器判断样本点是猫的概率（且样本点标签值为：猫）

$e^{{}_{z}i}$： 样本点在每个分类器上的预测值，注意每个分类器相关参数不同
 
${\sum }_{k=1}^m{e}^{z_k}$：样本点在三个分类器上的预测总值

对于二分类而言，样本类别非A即B
对于多分类而言，样本类别有很多种选择

但每种选择都包含了我们的目标类
即分母总是A+B+C

$$\frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{y^{(i)}}{h_{\theta }(x)}$$
这里为了好描述，我们将h关于$\theta$的函数转换为h关于z的函数

当$i=y$ ：

$\frac{\partial h_j}{\partial z_i}=\frac{\partial (\frac{e^{z_i}}{{\sum }_k^{}{e}^{z_k}})}{\partial z_i}$

     $=\frac{e^{z_i}\ast {\sum }_k^{}{e}^{z_k}-e^{z_i}\ast e^{z_i}}{({\sum }_k^{}{e}^{z_k}{)}^2}$

     $=\frac{e^{z_i}}{{\sum }_k^{}{e}^{z_k}}\ast \frac{{\sum }_k^{}{e}^{z_k}-e^{z_i}}{{\sum }_k^{}{e}^{z_k}}$

     $=\frac{e^{z_i}}{{\sum }_k^{}{e}^{z_k}}\ast (1-\frac{e^{z_i}}{{\sum }_k^{}{e}^{z_k}})$

     $=h_i\ast (1-h_i)$

当$i\ne y$ ：

$\frac{\partial h_j}{\partial z_i}=\frac{\partial (\frac{e^{z_i}}{{\sum }_k^{}{e}^{z_k}})}{\partial z_i}$

     $=\frac{0\ast {\sum }_k^{}{e}^{z_k}-e^{z_j}\ast e^{z_i}}{({{\sum }_k^{}{e}^{z_k})}^2}$

     $=-\frac{e^{z_j}}{{\sum }_k^{}{e}^{z_k}}\ast \frac{e^{z_i}}{{\sum }_k^{}{e}^{z_k}}$

     $=-h_j{h}_i$

即，梯度值为：

$\frac{\partial J(\theta )}{\partial {\theta }_j}={\sum }_{i=j}\frac{\partial J_j}{\partial h_j}\frac{\partial h_j}{\partial z_i}+{\sum }_{i\ne j}\frac{\partial J_j}{\partial h_j}\frac{\partial h_j}{\partial z_i}$

      $=-\frac{y_i}{h_i}\ast h_i\ast (1-h_i)+{\sum }_{i\ne j}-\frac{y_j}{h_j}\ast (-h_j{h}_i)$

      $=h_i{\sum }_j{y}_j-y_i$

---

感谢阅读🌼
如果喜欢这篇文章，记得点赞👍和转发🔄哦！
有任何想法或问题，欢迎留言交流💬，我们下次见！
本文相关代码存放位置
    【Logictic回归代码实现】

祝愉快🌟！

---