贝叶斯公式100例,贝叶斯概率公式例题简单

首页 > 经验 > 作者:YD1662024-03-22 16:39:12

由于 P(F1F2…Fn) 对于所有的类别都是相同的,可以省略,问题就变成了求

贝叶斯公式100例,贝叶斯概率公式例题简单(5)

的最大值。

朴素贝叶斯分类器则是更进一步,假设所有特征都彼此独立,因此

贝叶斯公式100例,贝叶斯概率公式例题简单(6)

上式等号右边的每一项,都可以从统计资料中得到,由此就可以计算出每个类别对应的概率,从而找出最大概率的那个类。

虽然”所有特征彼此独立”这个假设,在现实中不太可能成立,但是它可以大大简化计算,而且有研究表明对分类结果的准确性影响不大。

(3)拉普拉斯平滑(Laplace smoothing)

也就是参数为1时的贝叶斯估计,当某个分量在总样本某个分类中(观察样本库/训练集)从没出现过,会导致整个实例的计算结果为0。为了解决这个问题,使用拉普拉斯平滑/加1平滑进行处理。

它的思想非常简单,就是对先验概率的分子(划分的计数)加1,分母加上类别数;对条件概率分子加1,分母加上对应特征的可能取值数量。这样在解决零概率问题的同时,也保证了概率和依然为1。

eg:假设在文本分类中,有3个类,C1、C2、C3,在指定的训练样本中,某个词语F1,在各个类中观测计数分别为=0,990,10,即概率为P(F1/C1)=0,P(F1/C2)=0.99,P(F1/C3)=0.01,对这三个量使用拉普拉斯平滑的计算方法如下:

1/1003 = 0.001,991/1003=0.988,11/1003=0.011


实际应用场景

• 文本分类

• 垃圾邮件过滤

• 病人分类

• 拼写检查


朴素贝叶斯模型

朴素贝叶斯常用的三个模型有:

• 高斯模型:处理特征是连续型变量的情况

• 多项式模型:最常见,要求特征是离散数据

• 伯努利模型:要求特征是离散的,且为布尔类型,即true和false,或者1和0


代码实现

基于多项式模型的朴素贝叶斯算法(在github获取)

贝叶斯公式100例,贝叶斯概率公式例题简单(7)

测试数据集为MNIST数据集,获取地址train.csv

运行结果

贝叶斯公式100例,贝叶斯概率公式例题简单(8)

上一页123下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.