贝叶斯分类是分类算法的总称,该类算法均以贝叶斯定理为基础,因此称为贝叶斯分类。而朴素贝叶斯(Naive Bayes)分类是贝叶斯分类中最简单,最常见的一种分类方法。
朴素贝叶斯算法的核心思想: 通过计算特征概率来预测分类,即对于给出的待分类样本,求解在此样本出现的条件下各个类别出现的概率,哪个最大,就认为此待分类样本属于哪个类别。
举个栗子: 有1000个西瓜,生瓜和熟瓜个数差不多,现在要用这些西瓜来训练一个识别生瓜的模型,应该如何做呢?
在日常生活中,我们根据实际经验,挑选西瓜之前会先拍一拍,听声音是清脆还是沉闷。如果我们只通过拍击的声音来辨别是好瓜还是坏瓜,声音清脆说明西瓜还不够熟,声音沉闷说明西瓜成熟。
所以,坏西瓜的敲击声是清脆的概率更大,好西瓜的敲击声是沉闷的概率更大。P(坏瓜声音清脆)—>概率大;P(好瓜声音沉闷)—>概率大
当然这也并不绝对,我们千挑万选地「沉闷」瓜也可能并没熟,这就是噪声了。在实际生活中,除了敲击声,我们还有其他可能特征来辅助判断,例如色泽、根蒂、品类等。
朴素贝叶斯把类似拍击声这样的特征概率化,构成一个西瓜的品质向量以及对应的生瓜/熟瓜标签,训练出一个标准的基于统计概率的好坏瓜模型。利用模型,我们在知道某一个西瓜的特征值之后,将其输入到模型中,可以分别输出好坏瓜的概率,根据概率的大小来判别。
公式:
(一)先验概率: 事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率。在公式中P(A)和P(B) 都是先验概率。
例如:如果对于某个西瓜的色泽、根蒂和纹理等特征一无所知,按照常理来说,西瓜是好瓜的概率是60%。那么这个概率P(好瓜)就被称为先验概率。
(二)条件概率: 一个事件发生后另一个事件发生的概率,又叫似然概率。在公式中P(B|A) 是条件概率。
(三)后验概率: 事件发生后求的反向条件概率。即基于先验概率求得的反向条件概率。概率形式与条件概率相同。在公式中P(A|B) 是后验概率。
例如了解到判断西瓜是否好瓜的一个指标是纹理。一般来说,纹理清晰的西瓜是好瓜的概率大一些,大概是75%。如果把纹理清晰当作一种结果,然后去推测好瓜的概率,那么这个概率P(好瓜|纹理清晰)就被称为后验概率。
重要前提: 每一个事件属性都是相互独立的 ,attributes are conditionally independent
这也是朴素的由来,假设待分类项的各个属性在相互独立的情况下,构造出来的分类算法。
朴素贝叶斯模型的基本思想: 对于给定的待分类项X{a1, a2,a3,…,an},求解在此项出现的条件下各个类别yi出现的概率,哪个P(yi|X)最大,就把此待分类项归属于哪个类别。
举个栗子: 有以下一组数据
在朴素贝叶斯算法中,待分类项的各个特征属性条件独立
由于公式中分母P(X)表示数据集中每一个特征属性存在的概率,是固定的,因此我们在求解后验概率时一般只考虑分子即可。
又由于每一个特征属性相互独立,
推导出
在了解计算公式之后,我们使用公式来解决实际问题吧!
假设已知一个瓜{‘青绿’,‘稍蜷’,‘沉闷’,‘清晰’,‘稍凹’,‘硬滑’},判断该瓜好不好?
(一)根据贝叶斯公式
(二)转换成分类任务的表达式
(三)开始计算
P(好瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) 和 P(坏瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) 的概率哪个大
分母计算采用全概率公式:
带入数据
P(好瓜) = 3/7 P(坏瓜) = 4/7
P(青绿│好瓜)P(稍蜷│好瓜)P(沉闷│好瓜)P(清晰│好瓜)P(稍凹│好瓜)P(硬滑│好瓜)
= (2/3) * (1/3) * (1/3) * (3/3) * (1/3) * (2/3) = 12/729
P(青绿│坏瓜)P(稍蜷│坏瓜)P(沉闷│坏瓜)P(清晰│坏瓜)P(稍凹│坏瓜)P(硬滑│坏瓜)
= (1/4) * (1/4) * (1/4) * (1/4) * (1/4) * (2/4) = 2/4096
P(好瓜) * P(青绿│好瓜)P(稍蜷│好瓜)P(沉闷│好瓜)P(清晰│好瓜)P(稍凹│好瓜)P(硬滑│好瓜)
= 3/7 * 12/729 = 36/5103
P(坏瓜) * P(青绿│坏瓜)P(稍蜷│坏瓜)P(沉闷│坏瓜)P(清晰│坏瓜)P(稍凹│坏瓜)P(硬滑│坏瓜)
= 4/7 * 2/4096 = 8/28672
P(青绿 稍蜷 沉闷 清晰 稍凹 硬滑) = 36/5103 + 8/28672
最终:
P(好瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) = (36/5103) / (36/5103 + 8/28672) = 0.9619
P(坏瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) = (8/28672) / (36/5103 + 8/28672) = 0.0380
由于 0.9619 > 0.0380 ,因此 该瓜是好瓜。
例如在上述数据集中,好瓜的纹理都为‘清晰’,当假设的数据中出现‘稍糊’和‘模糊’时,此时我们计算出的概率为0,但是在样本数据量足够大的情况下可能性并不为0。
为了解决零概率的问题,法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率,所以加法平滑也叫做拉普拉斯平滑。
假定数据样本量很大时,每个分量x的计数加1造成的估计概率变化可以忽略不计,但可以方便有效的避免零概率问题。