线性判别分析的多分类情况

线性判别分析的多分类情况

情况一

若存在超平面$d_i(x)=w_{i}x$可以将属于$w_i$与不属于$w_i$范围的划开
d i ( x ) = w i T x = { > 0 , i f   x ∈ w i < 0 , i f   x ∉ w i (1) d_i(x)=w_i^Tx= {>0,if x∈wi<0,if x∉wi

\tag{1} di​(x)=wiT​x={>0,if x∈wi​<0,if x∈/wi​​(1)
即通过一个判别函数把整个空间划分成一个$w_i$与不属于$w_i$的范围。就可以将一个M分类问题转化为M个多分类问题。

但是当存在多个$d_i(x)>0$的区域或者全部的$d_i(x)<0$时，则分类失败，此类空间被称为不确定区域。

情况二

若存在超平面$d_{ij}(x)=w_{ij}x$可以将属于$w_i$与属于$w_j$的范围划开
d i j ( x ) = w i j x = { > 0 , x ∈ w i < 0 , x ∈ w j ∀ i ≠ j d_{ij}(x)=w_{ij}x= {>0,x∈wi<0,x∈wj

\quad \forall i \not=j dij​(x)=wij​x={>0,x∈wi​<0,x∈wj​​∀i=j
其中满足$d_{ij}(x)=-d_{ji}(x)$。

则可以将一个M分类问题转化为$\frac{n(n-1)}{2}$个二分类问题。

对所有的$d_{ij}(x)$而言，若$\forall i\ne j{d}_{ij}>0$，则被称为不确定区域。

情况三

对于没有不确定区域的情况二，

可以将情况二分解为
$$\begin{gathered} d_{ij}=d_i(x)-d_j(x)=(w_i-w_j{)}^{T}x \\ {d}_k(x)=w_k^{T}x,k=1,2,3,...,M \end{gathered}$$
若$\forall i\ne j,d_i(x)>d_j(x)$，则$x\in w_i$。

若 d k ( x ) = m a x { d k ( x ) , k = 1 , 2 , 3 , . . . M } d_k(x)=max\{d_k(x),k=1,2,3,...M\} dk​(x)=max{dk​(x),k=1,2,3,...M}，则$x\in w_i$。

即可以把一个M分类问题转化为M-1个多分类问题。