后验分布
知道事情的结果,然后根据结果推测原因,即结果是由某个原因导致的概率就是后验概率。p(原因|结果)
例子:
隔壁老王要去10公里外的一个地方办事,他 可以选择走路,骑自行车或者开车,并花费了一定时间到达目的地。在这个事件中,可以把交通方式(走路、骑车或开车)认为是原因,花费的时间认为是结果。若老王花了一个小时的时间完成了10公里的距离,那么很大可能是骑车过去的,当然也有较小可能老王是个健身达人跑步过去的,或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离,那么很有可能他是走路过去的。若老王只用了二十分钟,那么很有可能是开车。这种先知道结果,然后由结果估计原因的概率分布,p(交通方式|时间),就是后验概率。
预先已知结果,然后根据结果估计原因的概率分布即后验概率
P(因|果) -> P(θ|x)
先验分布
对未知参数x的先验信息用一个分布形式p(x)来表示,此分布p(x)称为未知参数x的先验分布.(即在实验前通过已知信息知道的分布)可以理解为对某个原因的经验推断。
对于一个未知参数,在抽取样本之前就已经知道了一些关于该参数的信息。我们知道的途径可能来源于生活经验,自然规律等等。
例子:来源 https://blog.csdn.net/lsgqjh/article/details/79168156
比如,测量自己的体重,在测量之前就可以推断出自己不会超过120斤,也不会少于90斤。这个推断可以理解为我们的生活经验所得。
比如测量某地的重力加速度,测量之前根据自然规律,就知道该地的重力加速度必然在9.8附近。这就是根据自然规律得到的先验信息。再根据自然规律,知道任何一个地方的重力加速度与标准不会相差0.1,这就是先验分布。可以写成G~(9.8,0.01),这就是先验分布。
老王会走路,骑自行车,或者开车去某个地方,假设老王是个健身达人,且大家都知道,那么老王开车去的可能性就较小,跑步的可能性比较大,这就是根据我们的常识得到的先验分布。
根据历史规律确定原因的概率分布即先验概率
P(因) -> P(θ)
似然估计
与后验分布相反,后验分布根据结果推测原因,而似然估计则是根据原因推测该原因导致结果发生的概率。
例子:
老王决定步行过去,那么很大可能10公里的距离大约需要两个小时;较小可能是老王平时坚持锻炼,跑步过去用了一个小时;更小可能是老王是个猛人,40分钟就到了。老王决定骑车过去,很可能一个小时就能到;较小可能是老王那天精神不错加上单双号限行交通很通畅,40分钟就到了;还有一种较小可能是老王运气很差,连着坏了好几辆共享单车,花了一个半小时才到。老王决定开车过去,很大可能是20分钟就到了,较小可能是那天堵车很严重,磨磨唧唧花了一个小时才到。这种先确定原因,根据原因来估计结果的概率分布,p(时间|交通方式),就是似然估计。
补充:
如果老王去了那个地方好多次,我们只搜集到了老王这么多次花费的时间的信息,那么关于花费时间的概率分布 p(时间) 就叫evidence.
先定下来原因,根据原因来估计结果的概率分布即似然估计。根据原因来统计各种可能结果的概率即似然函数
P(果|因) -> P(x|θ)
贝叶斯公式
$P(A|B)=\frac{P(B | A) * P(A)}{P(B)}\ $
即
注:P(x)即evidence。隔壁小哥去公园很多次,忽略交通方式是什么,只统计每次到达公园的时间x,于是得到了一组时间的概率分布。这种不考虑原因,值看到结果的概率分布即evidence,它也称为样本发生的概率分布的证据,即P(果)