分类 机器学习 下的文章

1.联合概率分布
联合概率分布简称联合分布,是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同,可分为离散型联合概率分布和连续型联合概率分布

①离散型联合概率分布:
设X和Y都是离散型随机变量,变量X和Y的联合分布完全决定X的概率分布和Y的概率分布:
请输入图片描述

请输入图片描述

X和Y的联合概率分布可以表示为:
请输入图片描述

例:
假设X和Y都是离散型分布

X的概率分布如下:
P(X=0)=0.4
P(X=1)=0.6

Y的概率分布如下:
P(Y=0)=0.25
P(Y=1)=0.5
P(Y=2)=0.25  

又因为X与Y相互独立,所以(X,Y)的联合概率分布为:
P(X=0,Y=0)=0.1
P(X=0,Y=1)=0.2
P(X=0,Y=2)=0.1
P(X=1,Y=0)=0.15
P(X=1,Y=1)=0.3
P(X=1,Y=2)=0.15

②连续型联合概率分布:
设X和Y为连续型随机变量,以 f1(x)和f2(y) 分别表示X和Y的概率密度:
请输入图片描述

请输入图片描述

X和Y的联合概率分布可以表示为:
请输入图片描述

2.条件概率分布
当对于一组随机变量,考虑其中某些变量取值特定值时,其余变量的分布是一种条件分布。

P(X=xi|Y=yi)=P(X=xi,Y=yi)/P(Y=yi)
为在Y=yi条件下X的条件分布率. (其中i为固定的),也称作该联合分布在Y上的条件分布。
请输入图片描述

3.边缘概率分布
一旦定义了随机变量,我们就可以在能够用X描述的事件上考虑分布。这个分布通常称为随机变量X的边缘分布 ,记为P(X). 这时单独只考虑X的取值,与其它随机变量取什么值的概率无关。

例:请输入图片描述变量I的边缘分布概率为:

P(I=0)=0.126+0.168+0.126+0.009+0.045+0.126
P(I=1)=0.252+0.0224+0.0056+0.06+0.036+0.024