贝叶斯定理
陈述
贝叶斯定理是关于随机事件A和B的条件概率的一则定理。
其中P(A|B)是在B发生的情况下A发生的可能性。
在贝叶斯定理中,每个名词都有约定俗成的名称:
P(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。
P(A)是A的先验概率(或边缘概率)。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(B)是B的先验概率或边缘概率。
按这些术语,贝叶斯定理可表述为:
也就是说,后验概率与先验概率和相似度的乘积成正比。
另外,比例P(B|A)/P(B)也有时被称作标准相似度(standardised likelihood),贝叶斯定理可表述为:
从条件概率推导贝叶斯定理
根据条件概率的定义。在事件B发生的条件下事件A发生的概率是:
同样地,在事件A发生的条件下事件B发生的概率
整理与合并这两个方程式,我们可以得到
这个引理有时称作概率乘法规则。上式两边同除以P(B),若P(B)是非零的,我们可以得到贝叶斯定理:
二中择一的形式
贝叶斯定理通常可以再写成下面的形式:
其中A是A的补集(即非A)。故上式亦可写成:
在更一般化的情况,假设{Ai}是事件集合里的部分集合,对于任意的Ai,贝叶斯定理可用下式表示:
以可能性与相似率表示贝叶斯定理
贝叶斯定理亦可由相似率Λ和可能性O表示:
其中
定义为B发生时,A发生的可能性(odds);
则是A发生的可能性。相似率(Likelihood ratio)则定义为:
贝叶斯定理与概率密度
贝叶斯定理亦可用于连续概率分布。由于概率密度函数严格上并非概率,由概率密度函数导出贝叶斯定理观念上较为困难(详细推导参阅)。贝叶斯定理与概率密度的关系是由求极限的方式建立:
全概率定理则有类似的论述:
如同离散的情况,公式中的每项均有名称。 f(x, y)是X和Y的联合分布; f(x|y)是给定Y=y后,X的后验分布; f(y|x)= L(x|y)是Y=y后,X的相似度函数(为x的函数); f(x)和f(y)则是X和Y的边际分布; f(x)则是X的先验分布。 为了方便起见,这里的f在这些专有名词中代表不同的函数(可以由引数的不同判断之)。
贝叶斯定理的推广
对于变数有二个以上的情况,贝叶斯定理亦成立。例如:
这个式子可以由套用多次二个变数的贝式定理及条件概率的定义导出:
一般化的方法则是利用联合概率去分解待求的条件概率,并对不加以探讨的变数积分(意即对欲探讨的变数计算边缘概率)。取决于不同的分解形式,可以证明某些积分必为1,因此分解形式可被简化。利用这个性质,贝叶斯定理的计算量可能可以大幅下降。贝叶斯网络为此方法的一个例子,贝叶斯网络指定数个变数的联合概率分布的分解型式,该概率分布满足下述条件:当其他变数的条件概率给定时,该变数的条件概率为一简单型式。
胰腺癌检测
基于贝叶斯定理:即使100%的胰腺癌症患者都有某症状,而某人有同样的症状,绝对不代表该人有100%的概率得胰腺癌,还需要考虑先验概率,假设胰腺癌的发病率是十万分之一,而全球有同样症状的人有万分之一,则此人得胰腺癌的概率只有十分之一,90%的可能是是假阳性。
参见
概率论
参考文献
^Kenneth H. Rosen. Discrete Mathematics and its Applications 7th edition. 2012: 456. ISBN 978-0-07-338309-5 (英语). 引文格式1维护:冗余文本 (link)
^Papoulis A.(1984). Probability, Random Variables, and Stochastic Processes, 2nd edition. Section 7.3. New York: McGraw-Hill.
免责声明:以上内容版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。感谢每一位辛勤著写的作者,感谢每一位的分享。
- 有价值
- 一般般
- 没价值