• 贝叶斯学习


    贝叶斯学习


    贝叶斯学习主要是依靠先验概率来推出后验概率,然后更具后验概率去验证。其主流分为朴素贝叶斯和高斯分布下的贝叶斯估计。

    相关概率知识

    **先验概率:**指根据以往经验和分析。在实验或采样前就可以得到的概率。

    **后验概率:**指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。

    **联合概率:**指是事件同时发生的概率,例如现在A,B两个事件同时发生的概率,记为P(A,B)、P(A∩B)、P(AB)。
    若A、B事件相互独立,则存在
    P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)
    条件概率:指一个事件发生后另一个事件发生的概率,一般情况下B表示某一个因素,A表示结果,P(A|B)表示在因素B的条件下A发生的概率,即由因求果,其计算公式如下:
    P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(BA)=P(A)P(AB)
    若A、B事件相互独立,则存在
    P ( B ∣ A ) = P ( A B ) P ( A ) = P ( A ) P ( B ) P ( A ) = P ( B ) P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A)P(B)}{P(A)}=P(B) P(BA)=P(A)P(AB)=P(A)P(A)P(B)=P(B)
    全概率公式:
    P ( A ) = ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(A)=\sum_{i=1}^nP(B_i)P(A|B_i) P(A)=i=1nP(Bi)P(ABi)
    贝叶斯公式:
    P ( B i ∣ A ) = P ( B i A ) P ( A ) = P ( A ∣ B i ) P ( B ) P ( A ) = P ( A ∣ B i ) P ( B ) ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B)}{P(A)}=\frac{P(A|B_i)P(B)}{\sum_{i=1}^nP(B_i)P(A|B_i)} P(BiA)=P(A)P(BiA)=P(A)P(ABi)P(B)=i=1nP(Bi)P(ABi)P(ABi)P(B)

    高斯分布:

    若随机变量 X X X满足 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) XN(μ,σ2),其中 μ \mu μ σ \sigma σ分别为均值与标准差
    f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2π σ1e2σ2(xμ)2
    标准差:
    S = ∑ ( x i − x ‾ ) 2 m − 1 S=\sqrt{\frac{\sum (x_i-\overline{x})^2}{m-1}} S=m1(xix)2
    协方差:
    E = ∑ ( x i − x ‾ ) ( y i − y ‾ ) m − 1 E=\frac{\sum(x_i-\overline x)(y_i-\overline y)}{m-1} E=m1(xix)(yiy)
    协方差矩阵:
    [ E 11 E 12 ⋯ E 1 n E 21 E 22 ⋯ E 2 n ⋮ ⋮ ⋱ ⋮ E m 1 E m 2 ⋯ E m n ] \begin{bmatrix} E_{11}&E_{12}&{\cdots}&E_{1n}\\ E_{21}&E_{22}&{\cdots}&E_{2n}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ E_{m1}&E_{m2}&{\cdots}&E_{mn}\\ \end{bmatrix} E11E21Em1E12E22Em2E1nE2nEmn

    朴素贝叶斯

    对于 x i x_i xi离散样本的情况下,其中 D c D_c Dc为对样本 c c c的数目统计:
    P ( c ) = ∣ ∣ D c ∣ ∣ ∣ ∣ D ∣ ∣ P(c)=\frac{||D_c||}{||D||} P(c)=∣∣D∣∣∣∣Dc∣∣

    P ( x i ∣ c ) = ∣ D x i , c ∣ ∣ D c ∣ P(x_{i}|c)=\frac{|D_{x_i,c}|}{|D_c|} P(xic)=DcDxi,c

    对于 x i x_i xi为连续样本的情况下:
    P ( x i ∣ c ) = 1 2 π σ c , j e − ( x i − μ c ; i ) 2 2 σ c , i 2 P(x_i|c)=\frac{1}{\sqrt{2\pi}\sigma_{c,j}}e^{-\frac{(x_i-\mu_{c;i})^2}{2\sigma_{c,i}^2}} P(xic)=2π σc,j1e2σc,i2(xiμc;i)2
    在对于多特征的样本,朴素贝叶斯假设各个特征独立,即特征A与B满足
    P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)
    其中 c c c为结果, x \pmb x x为特征
    P ( c ∣ x ) = P ( c ) P ( x ∣ c ) P ( x ) ∝ P ( c ) P ( x ∣ c ) = P ( c ) Π i = 1 d P ( x i ∣ c ) P(c|\pmb x)=\frac{P(c)P(\pmb x|c)}{P(\pmb x)}\propto P(c)P(\pmb x|c)=P(c)\Pi_{i=1}^{d}P(x_i|c) P(cx)=P(x)P(c)P(xc)P(c)P(xc)=P(c)Πi=1dP(xic)
    为了避免出现出现 P ( c ) = 0 P(c)=0 P(c)=0的情况,采用拉普拉斯平滑进行处理
    P ( c ) = ∣ ∣ D c ∣ ∣ + 1 ∣ ∣ D ∣ ∣ + N     N 为类别数 P(c)=\frac{||D_c||+1}{||D||+N} \ \ \ N为类别数 P(c)=∣∣D∣∣+N∣∣Dc∣∣+1   N为类别数

    P ( x i ∣ c ) = ∣ ∣ D c , i ∣ ∣ + 1 ∣ ∣ D c ∣ ∣ + N i     N i 为 x i 可能取的类别数 P(x_i |c)=\frac{||D_{c,i}||+1}{||D_c||+N_i} \ \ \ N_i为x_i可能取的类别数 P(xic)=∣∣Dc∣∣+Ni∣∣Dc,i∣∣+1   Nixi可能取的类别数

    多维正态密度贝叶斯

    多维正态分布的概率密度 N ∼ ( μ , Σ ) N\sim(\mu,\Sigma) N(μ,Σ) μ \mu μ Σ \Sigma Σ分别为正态分布的均值与协方差矩阵
    P ( x ) = 1 ( 2 π ) d / 2 ∣ Σ ∣ e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) P(x)=\frac{1}{(2\pi)^{d/2}|\Sigma|}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)} P(x)=(2π)d/2∣Σ∣1e21(xμ)TΣ1(xμ)
    image-20230923221434176

    image-20230923221527206

    image-20230923221542285

    image-20230923221557942

    image-20230923221611946

    image-20230923221627533

    image-20230923221640652

    image-20230923221652491

  • 相关阅读:
    RabbitMQ(原理,下载,安装)
    [Linux]什么是Linux根社区
    国产芯片、数字人体……今年的服贸会正上演一场“科技大秀”
    MongoDB设置用户账号密码登录
    k8s 集群使用 haproxy+keepalived+nginx 实现k8s集群负载均衡
    leetcode:714. 买卖股票的最佳时机含手续费
    Spring Cloud【SkyWalking日志、SkyWalking告警 、Skywalking自定义告警规则】(十五)
    用python画计算器图形界面
    Apache ShardingSphere 5.1.2 发布|全新驱动 API + 云原生部署,打造高性能数据网关
    基于 Serverless+OSS 分分钟实现图片秒变素描
  • 原文地址:https://blog.csdn.net/qq_43309286/article/details/133847163