Chapter 4 分类

分类：概率生成模型

分类举例

• 资信评估：输入——收入、储蓄、职业、年龄、过去的金融历史；输出——接受或拒绝。
• 医疗诊断：输入——当前症状、年龄、性别、既往病史；输出——哪种疾病。
• 手写汉字识别
• 人脸识别：输入——人脸图像；输出——人。

示例——宝可梦

模型：

损失函数：，意为：f在训练数据上得到错误结果的次数。

找到最佳函数，例如感知器、SVM……

用于分类的训练数据：

训练时——类别1表示目标为1；类别2表示目标为-1 

测试时——更接近1的划分为类别1；更接近-1的划分为类别2

贝叶斯公式：

用途：可用于推测某个宝可梦属于哪些属性的概率问题，如下所示。

每个神奇宝贝都由其属性表示为一个向量，拿考虑防守和SP防守这两个属性举例，所以得到很多个二维向量，假设这些点是从高斯分布中采样的。

高斯分布：
输入：向量x；输出：抽样概率x 。

函数的形状由均值和协方差矩阵决定的。

 

 

 步骤总结：
（1）建立函数

（2）函数的优度。找到使可能性(生成数据的概率)最大化的均值μ和协方差σ

（3）找到最佳函数

概率分布

你可以使用你喜欢的分布，例如高斯分布等等；

对于二元特征，您可以假设它们来自伯努利分布；

如果你假设所有的维度都是独立的，那么你使用的是朴素贝叶斯分类器。

后验概率

令：

所以：，即Sigmoid函数。

 ，其中

 

 

 

 

 在生成模型中，我们估计，我们就可得到的值。

分类:逻辑回归

步骤

（1）建立函数：包括所有不同的

（2）模型的优度

 

（3）找到最佳函数

 

 

 

逻辑回归：

逻辑回归与线性回归的区别

逻辑回归的不足

当函数点如下图分布，就无法利用逻辑回归将其很好得分开

 解决办法：特征转换，假设为到的距离，为到的距离。

所以上面的函数点就会变成下面这种分布：

深度学习

步骤

 (1)神经网络（Neural Network）

不同的连接导致不同的网络结构

全连接前馈网络：

 

 

（2）模型优度（goodness of function）

 

 （3）找到最佳函数（pick the best function）——利用梯度下降法