马尔科夫链例题整理.pptx
《马尔科夫链例题整理.pptx》由会员分享,可在线阅读,更多相关《马尔科夫链例题整理.pptx(61页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、首页无记忆性未来处于某状态的概率特性只与现在状态有关,而与以前的状态无关,这种特性叫无记忆性(无后效性)。例4 布朗运动第1页/共61页若 表示质点在时刻n所处的位置,求一步转移概率。引例 例1 直线上带吸收壁的随机游动(醉汉游动)设一质点在线段1,5 上随机游动,每秒钟发生一次随机游动,移动的规则是:(1)若移动前在2,3,4处,则均以概率 向左或向右 移动一单位;(2)若移动前在1,5处,则以概率1停留在原处。质点在1,5两点被“吸收”12345一步转移概率矩阵的计算第2页/共61页首页有两个吸收壁的随机游动其一步转移矩阵为状态空间I=1,2,3,4,5,参数集T=1,2,3,第3页/共6
2、1页例2带有反射壁的随机游动设随机游动的状态空间I=0,1,2,移动的规则是:(1)若移动前在0处,则下一步以概率p向右移动一个单位,以概率q停留在原处(p+q=1);(2)若移动前在其它点处,则均以概率p向右移动一个单位,以概率q向左移动一个单位。设 表示在时刻n质点的位置,则 ,是一个齐次马氏链,写出其一步转移概率。首页第4页/共61页qp右反射壁m-1mpq左反射壁120首页第5页/共61页pq反射壁1230首页第6页/共61页例3一个圆周上共有N格(按顺时针排列),一个质点在该圆周上作随机游动,移动的规则是:质点总是以概率p顺时针游动一格,以概率 逆时针游动一格。试求转移概率矩阵。首页
3、第7页/共61页4一个质点在全直线的整数点上作随机游动,移动的规则是:以概率p从i移到i-1,以概率q从i移到i+1,以概率r停留在i,且 ,试求转移概率矩阵。首页第8页/共61页5设袋中有a个球,球为黑色的或白色的,今随机地从袋中取一个球,然后放回一个不同颜色的球。若在袋里有k个白球,则称系统处于状态k,试用马尔可夫链描述这个模型(称为爱伦菲斯特模型),并求转移概率矩阵。解 这是一个齐次马氏链,其状态空间为 I=0,1,2,a一步转移矩阵是首页第9页/共61页练习题扔一颗色子,若前n次扔出的点数的最大值为j,就说 试问 是否为马氏链?求一步转移概率矩阵。I=1,2,3,4,5,6首页第10页
4、/共61页第11页/共61页例1甲、乙两人进行比赛,设每局比赛中甲胜的概率是p,乙胜的概率是q,和局的概率是 ,()。设每局比赛后,胜者记“+1”分,负者记“1”分,和局不记分。当两人中有一人获得2分结束比赛。以 表示比赛至第n局时甲获得的分数。(1)写出状态空间;(3)问在甲获得1分的情况下,再赛二局可以结束比赛的概率是多少?首页第12页/共61页解(1)记甲获得“负2分”为状态1,获得“负1分”为状态2,获得“0分”为状态3,获得“正1分”为状态4,获得“正2分”为状态5,则状态空间为一步转移概率矩阵首页第13页/共61页(2)二步转移概率矩阵首页第14页/共61页(3)从而结束比赛的概率
5、;从而结束比赛的概率。所以题中所求概率为首页第15页/共61页分析例2 赌徒输光问题赌徒甲有资本a元,赌徒乙有资本b元,两人进行赌博,每赌一局输者给赢者1元,没有和局,直赌至两人中有一人输光为止。设在每一局中,甲获胜的概率为p,乙获胜的概率为 ,求甲输光的概率。这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看,他初始时刻处于a,每次移动一格,向右移(即赢1元)的概率为p,向左移(即输1元)的概率为q。如果一旦到达0(即甲输光)或a+b(即乙输光)这个游动就停止。这时的状态空间为0,1,2,c,c=a+b,。现在的问题是求质点从a出发到达0状态先于到达c状态的概率。首页第16页/共61页考
6、虑质点从j出发移动一步后的情况解同理根据全概率公式有这一方程实质上是一差分方程,它的边界条件是首页第17页/共61页于是设则可得到两个相邻差分间的递推关系于是欲求先求需讨论 r首页第18页/共61页当而两式相比首页第19页/共61页故当而因此故首页第20页/共61页用同样的方法可以求得乙先输光的概率由以上计算结果可知首页第21页/共61页例3 排队问题顾客到服务台排队等候服务,在每一个服务周期中只要服务台前有顾客在等待,就要对排在前面的一位提供服务,若服务台前无顾客时就不能实施服务。则有求其转移矩阵在第n周期已有一个顾客在服务,到第n+1周期已服务完毕第22页/共61页解先求出转移概率首页第2
7、3页/共61页所以转移矩阵为首页第24页/共61页证第25页/共61页定理4.3 马尔科夫链的有限维分布:第26页/共61页练习:马氏链的状态空间I=1,2,3,初始概率为第27页/共61页例4市场占有率预测设某地有1600户居民,某产品只有甲、乙、丙3厂家在该地销售。经调查,8月份买甲、乙、丙三厂的户数分别为480,320,800。9月份里,原买甲的有48户转买乙产品,有96户转买丙产品;原买乙的有32户转买甲产品,有64户转买丙产品;原买丙的有64户转买甲产品,有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂,试求(1)转移概率矩阵;(2)9月份市场占有率的分布;(3)12月份市
8、场占有率的分布;第28页/共61页解(1)E1,2,3,状态1、2、3分别表示甲、乙、丙的用户一步转移概率矩阵为(2)以1600除8月份甲,乙,丙的户数,得初始概率分布(即初始市场占有率)第29页/共61页所以9月份市场占有率分布为(3)12月份市场占有率分布为第30页/共61页例1其一步转移矩阵为试研究各状态间的关系,并画出状态传递图。解先按一步转移概率,画出各状态间的传递图首页第31页/共61页2/31/41/41/31/21/20121/2图3-1由图可知状态0可到达状态1,经过状态1又可到达状态2;反之,从状态2出发经状态1也可到达状态0。因此,状态空间I的各状态都是互通的。又由于I
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 马尔科夫链 例题 整理
限制150内