最大似然估计和贝叶斯参数估计ppt课件.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《最大似然估计和贝叶斯参数估计ppt课件.ppt》由会员分享,可在线阅读,更多相关《最大似然估计和贝叶斯参数估计ppt课件.ppt(103页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、Chapter 3:最大似然估计和贝叶斯参数估计2经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用要点:要点:重点掌握最大似然估计和贝叶斯参数估计的原理重点掌握最大似然估计和贝叶斯参数估计的原理;熟练掌握主成分分析和熟练掌握主成分分析和FisherFisher线性分析线性分析;掌握隐马尔可夫模型掌握隐马尔可夫模型;了解维数问题了解维数问题;3经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用贝叶斯框架下的数据收集 n在以下条件下我们可
2、以设计一个可选择的分类器:P(i)(先验)P(x|i)(类条件密度)不幸的是,我们极少能够完整的得到这些信息!从一个传统的样本中设计一个分类器 n先验估计不成问题 n对类条件密度的估计存在两个问题:1)样本对于类条件估计太少了;2)特征空间维数太大了,计算复杂度太高。1 3.1 引引 言言4经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用如果可以将类条件密度参数化,则可以显著降低难度。例如:P(x|i)的正态性P(x|i)N(i,i)n用两个参数表示 将概率密度估计问题转化为参数估计问题。将概率密度估计问题转化为
3、参数估计问题。估计n最大似然估计(ML)和贝叶斯估计;n结果通常很接近,但是方法本质是不同的。5经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用n最大似然估计将参数看作是确定的量,只是其值是未知!通过最大化所观察的样本概率得到最优的参数用分析方法。n贝叶斯方法把参数当成服从某种先验概率分布的随机变量,对样本进行观测的过程,就是把先验概率密度转化成为后验概率密度,使得对于每个新样本,后验概率密度函数在待估参数的真实值附近形成最大尖峰。n在这两种方法中,我们都用后验概率P(i|x)表示分类准则!6经营者提供商品或者服
4、务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用n当样本数目增加时,收敛性质会更好;n比其他可选择的技术更加简单。假设有c类样本,并且 1)每个样本集的样本都是独立同分布的随机变量;2)P(x|j)形式已知但参数未知,例如P(x|j)N(j,j);3)记 P(x|j)P(x|j,j),其中 3.2 最大似然估计最大似然估计o 最大似然估计的优点:3.2.1 基本原理基本原理7经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用n使用训练样本提供的信息估计=
5、(1,2,c),每个 i(i=1,2,c)只和每一类相关。n假定D包括n个样本,x1,x2,xnn的最大似然估计是通过定义最大化P(D|)的值 “值与实际观察中的训练样本最相符”28经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用29经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用n最优估计 令=(1,2,p)t 并令 为梯度算子 the gradient operator我们定义 l()为对数似然函数:l()=ln P(D|)新问
6、题陈述:求解 为使对数似然最大的值 10经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用对数似然函数l()显然是依赖于样本集D,有:最优求解条件如下:令:来求解.11经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用P(xk|)N(,)(样本从一组多变量正态分布中提取)这里 =,因此:的最大似然估计必须满足:23.2.3 高斯情况:高斯情况:未知未知12经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加
7、赔偿的金额为消费者购买商品的价款或接受服务的费用乘 并且重新排序,我们得到:即训练样本的算术平均值!结论:如果P(xk|j)(j=1,2,c)被假定为d维特征空间中的高斯分布;然后我们能够估计向量 =(1,2,c)t 从而得到最优分类!213经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用n未知 和,对于单样本xk=(1,2)=(,2)3.2.3 高斯情况:高斯情况:和和 均均未知未知14经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的
8、费用对于全部样本,最后得到:联合公式(1)和(2),得到如下结果:215经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用2的最大似然估计是有偏的(渐进无偏估计)的一个基本的无偏估计是:23.2.4 偏差估计偏差估计16经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用模型错误会怎么样?模型错误会怎么样?达不到最优!17经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接
9、受服务的费用在最大似然估计中 被假定为固定值在贝叶斯估计中 是随机变量目标:计算 P(i|x,D)假设样本为D,贝叶斯方程可以写成:3.3贝叶斯估计贝叶斯估计3.3.1 类条件密度类条件密度18经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用因此,核心工作就是要估计n先验概率通常可以事先获得,因此n每个样本只依赖于所属的类,有:故:即:只要在每类中,独立计算就可以确定x的类别。19经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用假设
10、 的形式已知,参数的值未知,因此条件概率密度 是知道的;假设参数是随机变量,先验概率密度函数p()已知,利用贝叶斯公式可以计算后验概率密度函数p(|D);希望后验概率密度函数p(|D)在的真实值附件有非常显著的尖峰,则可以使用后验密度p(|D)估计 ;3.3.2 参数的分布参数的分布20经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用注意到 3.3.2 参数的分布参数的分布如果p(|D)在某个值 附件有非常显著的尖峰,则即:如果如果条件概率密度具有一个已知的形式,则条件概率密度具有一个已知的形式,则利用已有的训练
11、样本,就能够利用已有的训练样本,就能够通过通过p(|D)对对p(x|D)进行估计。进行估计。21经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用单变量情形的 p(|D)3.4 贝叶斯参数估计贝叶斯参数估计:高斯过程高斯过程22经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用复制密度23经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用结论:贝叶斯学习24
12、经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用 单变量情形的 p(x|D)25经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用多变量情形:复制密度其中仅未知.26经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用27经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用多变量学
13、习28经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用3.5 贝叶斯参数估计:一般理论贝叶斯参数估计:一般理论p(x|D)的计算可推广于所有能参数化未知密度的情况中,基本假设如下:n假定 p(x|)的形式已知,但是的值未知。n被假定为满足一个已知的先验密度 P()n其余的 的信息 包含在集合D中,其中D是由n维随机变量x1,x2,xn组成的集合,它们服从于概率密度函数p(x)。基本的问题是:计算后验密度计算后验密度p(|D),然后然后 推导出推导出 p(x|D)。29经营者提供商品或者服务有欺诈行为的,应当按照消
14、费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用问题:p(x|D)是否是否能收敛到能收敛到p(x),计算复杂度如何?,计算复杂度如何?(49)(50)(51)30经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用递归贝叶斯学习该过程称为参数估计的递归贝叶斯方法,一种增量学习方法。因为:所以:令:31经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用例1:递归贝叶斯学习32经营者提供商品或者服务有欺诈行
15、为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用例1:递归贝叶斯学习33经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用例1:Bayes vs.ML34经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用唯一性问题np(x|q q)是唯一的:后验概率序列 p(q q|Dn)收敛到 delta 函数;只要训练样本足够多,则 p(x|q q)能唯一确定q q。在某些情况下,不同 q q 值
16、会产生同一个 p(x|q q)。p(q q|Dn)将在 q q 附近产生峰值,这时不管p(x|q q)是否唯一,p(x|Dn)总会收敛到p(x)。因此不确定性客观存在。35经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用最大似然估计和贝叶斯参数估计的区别 最大似然估计最大似然估计 贝叶斯参数估计贝叶斯参数估计计算复杂度 微分 多重积分可理解性 确定易理解 不确定不易理解先验信息的信任程度 不准确 准确例如 p(x|q q)与初始假设一致 与初始假设不一致 36经营者提供商品或者服务有欺诈行为的,应当按照消费者的要
17、求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用分类误差种类:n贝叶斯错误或不可分错误,例如 P(x|i)之间相互重叠引起,固有问题;n模型错误,ML与Bays犯错一样;n估计错误,训练样本个数有限产生。37经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用Gibbs 算法在较弱的假设条件下,Gibbs算法的误差概率至多是贝叶斯最优分类器的两倍。38经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用n统计量任
18、何样本集D的函数;n充分统计量即是一个样本集 D 的函数s,其中 s 包含了有助于估计参数 的所有所有信息,即 p(D|s,)与 无关;n满足上面,如果q q 是随机变量,则可以写成 3.6 充分统计量充分统计量反过来也成立。39经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用因式分解定理:n一个关于参数q q 的统计量s是充分统计量当且仅当概率分布函数 P(D|q q)能够写成乘积形式:P(D|q q)=g(s,q q)h(D)其中 g(.,.)和h(.)是两个函数。40经营者提供商品或者服务有欺诈行为的,应当
19、按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用例子:多维高斯分布41经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用证明:必要性注意到注意到 对于一个给定的样本,只有一个对于一个给定的样本,只有一个s与之与之对应。对应。由定义由定义42经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用充分性:43经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消
20、费者购买商品的价款或接受服务的费用核密度(Kernel density)n把 P(D|q q)分解成 g(s,q q)h(D)不是唯一的:如果f(s)是一个函数,g(s,q q)=f(s)g(s,q q)和 h(D)=h(D)/f(s)也是等价的分解;n这种二义性可以用定义核密度函数的方法来得到消除:44经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用例子:多维高斯分布45经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用核密度与参数
21、估计n对于最大似然估计情形,只需最大化 g(s,q q),因为:P(D|q q)=g(s,q q)h(D)n对于贝叶斯估计情形:如果我们对q q的先验概率不确定,p(q q)通常选择均匀分布,则p(q q|D)几乎等于核密度;如果p(x|q q)可辩识时,g(s,q q)通常在某个值处有明显的尖峰,并且如果p(q q)在该值处连续并且非零,则p(q q|D)将趋近核密度函数。46经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔偿其受到的损失,增加赔偿的金额为消费者购买商品的价款或接受服务的费用充分统计量与指数族函数47经营者提供商品或者服务有欺诈行为的,应当按照消费者的要求增加赔
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最大 估计 贝叶斯 参数估计 ppt 课件
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内