信息理论基础 第二章信息的度量优秀PPT.ppt

信息理论基础 第二章 信息的度量第1页，本讲稿共99页一一.单符号离散信源单符号离散信源 1.1.定义定义 如果信源发出的消息是离散的符号或数字，并如果信源发出的消息是离散的符号或数字，并如果信源发出的消息是离散的符号或数字，并如果信源发出的消息是离散的符号或数字，并且一个符号代表一条完整的消息，则称这种信源为单符号且一个符号代表一条完整的消息，则称这种信源为单符号且一个符号代表一条完整的消息，则称这种信源为单符号且一个符号代表一条完整的消息，则称这种信源为单符号信源。信源。信源。信源。2.2.数学模型数学模型第2页，本讲稿共99页信源发送符号信源发送符号信源发送符号信源发送符号a ai i的自信息量的自信息量的自信息量的自信息量I(ai),(,(i=1,2,=1,2,r),r)I(ai)=收到收到收到收到ai 前前,信宿对信源发送符号信宿对信源发送符号ai 的不确定性的不确定性的不确定性的不确定性-信源发送单个符号信源发送单个符号信源发送单个符号信源发送单个符号所携带的所携带的所携带的所携带的的信息量的信息量的信息量的信息量信息量的度量转化为对不确定性的度量信息量的度量转化为对不确定性的度量二二.自信息量自信息量 第3页，本讲稿共99页I(ai)必须满足以下四个公理性条件必须满足以下四个公理性条件:1.1.1.1.信源发送符号信源发送符号信源发送符号信源发送符号a ai i和和和和a aj j的先验概率分别为的先验概率分别为的先验概率分别为的先验概率分别为p p(a ai i)和和和和p p(a aj j),),如果如果如果如果00p p(a ai i)p p(a aj j)1)1,则则则则2.2.2.2.信源发送符号信源发送符号信源发送符号信源发送符号a ai i的先验概率的先验概率的先验概率的先验概率p p(a ai i)=0)=0,则则则则3.3.3.3.信源发送符号信源发送符号信源发送符号信源发送符号a ai i的先验概率的先验概率的先验概率的先验概率p p(a ai i)=1)=1,则则则则4.4.4.4.设有两个独立信源设有两个独立信源设有两个独立信源设有两个独立信源X X X X和和和和Y,Y,Y,Y,信源信源信源信源X X X X发送符号发送符号发送符号发送符号a ai i的先验概率为的先验概率为的先验概率为的先验概率为p p(a ai i),),信源信源信源信源Y Y Y Y发送符号发送符号发送符号发送符号a aj j的先验概率为的先验概率为的先验概率为的先验概率为p p(a aj j),),符号符号符号符号a ai i 和和a aj j的联合消息的联合消息的联合消息的联合消息(a ai ia aj j)的先验概的先验概的先验概的先验概率为率为率为率为p p(a(ai ia aj j),则则则则第4页，本讲稿共99页I(ai)的具体表达式的具体表达式:又名又名概率信息概率信息单位单位:以以以以2 2 2 2为底为底为底为底,单位为比特单位为比特单位为比特单位为比特以以以以e e e e为底为底为底为底,单位为奈特单位为奈特单位为奈特单位为奈特以以以以10101010为底为底为底为底,单位为哈特莱单位为哈特莱单位为哈特莱单位为哈特莱自信息量自信息量在历史上第一次使信息的度量成为可能，成为推动信息在历史上第一次使信息的度量成为可能，成为推动信息在历史上第一次使信息的度量成为可能，成为推动信息在历史上第一次使信息的度量成为可能，成为推动信息论发展的基石。论发展的基石。论发展的基石。论发展的基石。第5页，本讲稿共99页例例2-12-1：有有1212个球，只有一个是非标重球，问是否存在用个球，只有一个是非标重球，问是否存在用天平称天平称3 3次必然找到该球的方法？次必然找到该球的方法？(从信息的角度解决从信息的角度解决)解：解：天平的状态有三种：天平的状态有三种：天平的状态有三种：天平的状态有三种：平衡、左轻、左重平衡、左轻、左重平衡、左轻、左重平衡、左轻、左重 每称一次消除一种状态，则带来的信息量为每称一次消除一种状态，则带来的信息量为每称一次消除一种状态，则带来的信息量为每称一次消除一种状态，则带来的信息量为log3log3 则称则称则称则称3 3 3 3次后，带来的信息量为次后，带来的信息量为次后，带来的信息量为次后，带来的信息量为3log3=log273log3=log27 结论结论:而一个非标球的携带的信息量为而一个非标球的携带的信息量为而一个非标球的携带的信息量为而一个非标球的携带的信息量为可见：可见：信息的度量是为了找到解决问题的方法，而信息的度量是为了找到解决问题的方法，而信息的度量是为了找到解决问题的方法，而信息的度量是为了找到解决问题的方法，而不是纯粹度量信息的大小不是纯粹度量信息的大小不是纯粹度量信息的大小不是纯粹度量信息的大小第6页，本讲稿共99页三三.离散熵离散熵 请问请问:能否用自信息量作为信源的总体信息测度呢能否用自信息量作为信源的总体信息测度呢能否用自信息量作为信源的总体信息测度呢能否用自信息量作为信源的总体信息测度呢?从定性的角度可知：三个信源不确定性大小为从定性的角度可知：三个信源不确定性大小为从定性的角度可知：三个信源不确定性大小为从定性的角度可知：三个信源不确定性大小为XYZXYH(Y)H(X)H(Z)H(Y)H(X)H(Z)H(Y)H(X)H(Z)H(Y)H(X)结论：结论：X X、Y Y、Z Z熵的大小关系与熵的大小关系与X X、Y Y、Z Z 不确定性的大小不确定性的大小关系符合，说明熵的确可以作为信源的总体信息侧度关系符合，说明熵的确可以作为信源的总体信息侧度第9页，本讲稿共99页信息熵的物理意义信息熵的物理意义请问：请问：由熵的推导过程看，熵具有什么样的物理意义呢？由熵的推导过程看，熵具有什么样的物理意义呢？由熵的推导过程看，熵具有什么样的物理意义呢？由熵的推导过程看，熵具有什么样的物理意义呢？3.3.反映随机变量反映随机变量X X的随机性的随机性2.2.表示信源输出前，信源的平均不确定度表示信源输出前，信源的平均不确定度1.1.1.1.表示信源输出后，每个离散消息所提供的平均信息量表示信源输出后，每个离散消息所提供的平均信息量表示信源输出后，每个离散消息所提供的平均信息量表示信源输出后，每个离散消息所提供的平均信息量熵还可记为熵还可记为H(P)或或H(p1,p2,pr)第10页，本讲稿共99页设离散无记忆信源设离散无记忆信源设离散无记忆信源设离散无记忆信源 其发生的消息为：其发生的消息为：其发生的消息为：其发生的消息为：（202120130213001203210110321010021032011223210202120130213001203210110321010021032011223210202120130213001203210110321010021032011223210202120130213001203210110321010021032011223210）求求求求（1 1 1 1）此消息的自信息量。）此消息的自信息量。）此消息的自信息量。）此消息的自信息量。（2 2 2 2）在此消息中平均每个符号携带的信息量。）在此消息中平均每个符号携带的信息量。）在此消息中平均每个符号携带的信息量。）在此消息中平均每个符号携带的信息量。例例例例2-22-22-22-2第11页，本讲稿共99页解：解：（1 1）消息的自信息量就是等于消息中各个符号的自消息的自信息量就是等于消息中各个符号的自消息的自信息量就是等于消息中各个符号的自消息的自信息量就是等于消息中各个符号的自信息量之和信息量之和信息量之和信息量之和。根据题意可得：。根据题意可得：此消息中共有此消息中共有1414个个“0 0”符号，符号，1313个个“1 1”符号，符号，1212个个“2 2”符号，符号，6 6个个“3 3”符号，则得到的符号，则得到的自信息量是：自信息量是：自信息量是：自信息量是：第12页，本讲稿共99页（2 2 2 2）此消息中平均每个符号携带的信息量为：）此消息中平均每个符号携带的信息量为：）此消息中平均每个符号携带的信息量为：）此消息中平均每个符号携带的信息量为：原因原因：(2)(2)(2)(2)问的值问的值问的值问的值是该特定消息中平均每个符号携带的信息量，是该特定消息中平均每个符号携带的信息量，而信息熵是离散无记忆信源平均每个符号携带的信息量，是统而信息熵是离散无记忆信源平均每个符号携带的信息量，是统计平均值。计平均值。信源的信息熵信源的信息熵信源的信息熵信源的信息熵:结论结论:(2)(2)(2)(2)问的值与信源的信息熵问的值与信源的信息熵问的值与信源的信息熵问的值与信源的信息熵不完全相等不完全相等第13页，本讲稿共99页例例 熵在语音端点检测中的应用熵在语音端点检测中的应用熵在语音端点检测中的应用熵在语音端点检测中的应用(本人的实际工作）本人的实际工作）本人的实际工作）本人的实际工作）纯净语音波形纯净语音波形纯净语音波形纯净语音波形带噪语音波形带噪语音波形带噪语音波形带噪语音波形谱熵加能量参数谱熵加能量参数谱熵加能量参数谱熵加能量参数分带谱熵加能量参数分带谱熵加能量参数分带谱熵加能量参数分带谱熵加能量参数第14页，本讲稿共99页四四.熵的性质熵的性质 1.1.对称性对称性 ,各各各各p pn n的顺序变化的顺序变化的顺序变化的顺序变化,不影不影不影不影响熵值响熵值响熵值响熵值各自的熵为各自的熵为:H(X)=H(Y)=H(Z)=1.4592 bit/symbol对称性说明对称性说明:-信源的信息熵只与信源的概率空间的总体结构有关信源的信息熵只与信源的概率空间的总体结构有关信源的信息熵只与信源的概率空间的总体结构有关信源的信息熵只与信源的概率空间的总体结构有关,与具体内容与具体内容与具体内容与具体内容无关无关无关无关例例：第15页，本讲稿共99页2.2.非负性非负性证明：证明：提问提问:何时等式成立何时等式成立何时等式成立何时等式成立?非负性表明：非负性表明：从总体看，信源在发送符号以前，总存在一定的不确定从总体看，信源在发送符号以前，总存在一定的不确定从总体看，信源在发送符号以前，总存在一定的不确定从总体看，信源在发送符号以前，总存在一定的不确定性；在发符号后，总可提供一定的信息量性；在发符号后，总可提供一定的信息量性；在发符号后，总可提供一定的信息量性；在发符号后，总可提供一定的信息量第16页，本讲稿共99页则则或或又又只有某一个只有某一个，而其他，而其他当且仅当在当且仅当在 中各项为零时等号成立，中各项为零时等号成立，即即 第17页，本讲稿共99页若若若若信信信信源源源源符符符符号号号号集集集集中中中中，有有有有一一一一个个个个符符符符号号号号几几几几乎乎乎乎必必必必然然然然出出出出现现现现，其其其其他他他他符符符符号号号号几几几几乎乎乎乎不不不不可可可可能能能能出出出出现现现现，则则则则该该该该信信信信源源源源为为为为一一一一个个个个确确确确知知知知信信信信源源源源，则则则则信信信信息息息息熵熵熵熵等等等等于于于于零零零零,即：即：3.3.确定性确定性熵函数的确定性表明：熵函数的确定性表明：只有信源的任一个概率分量等于只有信源的任一个概率分量等于只有信源的任一个概率分量等于只有信源的任一个概率分量等于1 1 1 1时，才能使信源信息熵时，才能使信源信息熵时，才能使信源信息熵时，才能使信源信息熵等于零，除此以外的任何情况的信息熵都大于零。等于零，除此以外的任何情况的信息熵都大于零。等于零，除此以外的任何情况的信息熵都大于零。等于零，除此以外的任何情况的信息熵都大于零。对于确知信源，发符号前，不存在不确定性；发符号后，不对于确知信源，发符号前，不存在不确定性；发符号后，不对于确知信源，发符号前，不存在不确定性；发符号后，不对于确知信源，发符号前，不存在不确定性；发符号后，不提供任何信息量。提供任何信息量。提供任何信息量。提供任何信息量。第18页，本讲稿共99页4.4.上凸性上凸性YX X 0 H X+(1-)Y设有一个多元函数或矢量函数设有一个多元函数或矢量函数设有一个多元函数或矢量函数设有一个多元函数或矢量函数 第19页，本讲稿共99页证明证明:由于后面两项的数值均大于零，故有：由于后面两项的数值均大于零，故有：由于后面两项的数值均大于零，故有：由于后面两项的数值均大于零，故有：上凸性说明：上凸性说明：熵函数具有极大值熵函数具有极大值熵函数具有极大值熵函数具有极大值取取则则:第20页，本讲稿共99页5.5.极值性（最大离散熵定理）极值性（最大离散熵定理）H(P)H(P)logr,logr,当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立,r r为为为为X X的取值个数的取值个数的取值个数的取值个数证明：证明：证明：证明：按条件极大值的数学求解方法，作辅助函数：按条件极大值的数学求解方法，作辅助函数：按条件极大值的数学求解方法，作辅助函数：按条件极大值的数学求解方法，作辅助函数：其中其中其中其中，为待定常数，对辅助函数中的为待定常数，对辅助函数中的为待定常数，对辅助函数中的为待定常数，对辅助函数中的r r个变量个变量个变量个变量p pi i(i=1,2,r)(i=1,2,r)分别求偏分别求偏分别求偏分别求偏导，并令为零，得导，并令为零，得导，并令为零，得导，并令为零，得r r个稳定方程个稳定方程个稳定方程个稳定方程将上式代入约束条件得：将上式代入约束条件得：将上式代入约束条件得：将上式代入约束条件得：熵函数的最大值为熵函数的最大值为熵函数的最大值为熵函数的最大值为则有：则有：则有：则有：H(P)logr,H(P)logr,当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立第21页，本讲稿共99页熵的极值性说明熵的极值性说明：在所有符号个数相同，而符号的概率分布不同在所有符号个数相同，而符号的概率分布不同的离散信源中，以先验等概的信源的信息熵最大，的离散信源中，以先验等概的信源的信息熵最大，其最大值等于信源符号个数其最大值等于信源符号个数r r的对数；的对数；同时说明同时说明：离散信源信息熵的最大值，只取决于信源符号的离散信源信息熵的最大值，只取决于信源符号的离散信源信息熵的最大值，只取决于信源符号的离散信源信息熵的最大值，只取决于信源符号的个数个数个数个数r r r r，r r r r越大，其信息熵也越大越大，其信息熵也越大越大，其信息熵也越大越大，其信息熵也越大第22页，本讲稿共99页6.6.扩展性扩展性含含义义：若若若若信信信信源源源源X X有有有有q q个个个个符符符符号号号号，信信信信源源源源Y Y有有有有q+1q+1个个个个符符符符号号号号，两两两两者者者者的的的的差差差差异异异异只只只只多多多多了了了了一个概率接近零的符号，则两信源的熵值是一样的；一个概率接近零的符号，则两信源的熵值是一样的；一个概率接近零的符号，则两信源的熵值是一样的；一个概率接近零的符号，则两信源的熵值是一样的；证明：证明：扩展性说明：扩展性说明：若信源空间中增加某些概率接近于零的信源若信源空间中增加某些概率接近于零的信源若信源空间中增加某些概率接近于零的信源若信源空间中增加某些概率接近于零的信源符号，对信源的熵值的贡献可以忽略不计符号，对信源的熵值的贡献可以忽略不计符号，对信源的熵值的贡献可以忽略不计符号，对信源的熵值的贡献可以忽略不计第23页，本讲稿共99页提问：提问：在通信的接收端，当接收到符号在通信的接收端，当接收到符号在通信的接收端，当接收到符号在通信的接收端，当接收到符号y y后，对信源发送符号后，对信源发送符号后，对信源发送符号后，对信源发送符号x x到到到到底还存在多大的不确定度呢？或者说在底还存在多大的不确定度呢？或者说在底还存在多大的不确定度呢？或者说在底还存在多大的不确定度呢？或者说在y y已知的条件下，已知的条件下，已知的条件下，已知的条件下，x x发生会带来多发生会带来多发生会带来多发生会带来多大的信息量呢？大的信息量呢？大的信息量呢？大的信息量呢？五五.条件自信息量条件自信息量 事件事件事件事件x x在事件在事件在事件在事件y y给定的条件下的自信息量定义为给定的条件下的自信息量定义为给定的条件下的自信息量定义为给定的条件下的自信息量定义为条件自信息量条件自信息量条件自信息量条件自信息量：含义含义：已知已知已知已知y y后对后对后对后对x x 则有一定的了解则有一定的了解则有一定的了解则有一定的了解，不了解的那部分携带的信息量不了解的那部分携带的信息量不了解的那部分携带的信息量不了解的那部分携带的信息量既是条件自信息量，也可表示既是条件自信息量，也可表示既是条件自信息量，也可表示既是条件自信息量，也可表示已知已知已知已知y y后对后对后对后对x x还残留的不确定度。还残留的不确定度。还残留的不确定度。还残留的不确定度。引入条件自信息量的目的引入条件自信息量的目的：衡量符号之间相关性导致携带信息的变化衡量符号之间相关性导致携带信息的变化衡量符号之间相关性导致携带信息的变化衡量符号之间相关性导致携带信息的变化 在通信系统中可以描述信道的作用在通信系统中可以描述信道的作用在通信系统中可以描述信道的作用在通信系统中可以描述信道的作用第24页，本讲稿共99页 设在一正方形棋盘上共有设在一正方形棋盘上共有设在一正方形棋盘上共有设在一正方形棋盘上共有64646464个方格，如果个方格，如果个方格，如果个方格，如果甲将一甲将一粒棋子随意放在棋盘中的某方格且让乙猜测棋子所粒棋子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所携带的信息量在的位置所携带的信息量：（1 1 1 1）将方格按顺序编号，令乙猜测棋子所在方格的顺序）将方格按顺序编号，令乙猜测棋子所在方格的顺序）将方格按顺序编号，令乙猜测棋子所在方格的顺序）将方格按顺序编号，令乙猜测棋子所在方格的顺序号；号；号；号；（2 2）将方格分别按行和列编号，甲将棋子所在方格）将方格分别按行和列编号，甲将棋子所在方格的行或列编号告诉乙之后，再令乙猜测棋子所在列的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的位置。或行的位置。例例2-32-3：第25页，本讲稿共99页解：解：解：解：（1 1 1 1）令把棋子任意放在棋盘的某一格为事件）令把棋子任意放在棋盘的某一格为事件）令把棋子任意放在棋盘的某一格为事件）令把棋子任意放在棋盘的某一格为事件x xi i，则该事件发生的概，则该事件发生的概，则该事件发生的概，则该事件发生的概率为：率为：率为：率为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：（2 2 2 2）设行为随机变量）设行为随机变量）设行为随机变量）设行为随机变量X X，列为随机变量，列为随机变量，列为随机变量，列为随机变量Y Y，则在事件，则在事件，则在事件，则在事件y yj j发生后事件发生后事件发生后事件发生后事件x xi i发生的概率为：发生的概率为：发生的概率为：发生的概率为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：由结果可知由结果可知:事件事件事件事件y yj j的出现降低了事件的出现降低了事件的出现降低了事件的出现降低了事件x xi i发生所携带的信息量发生所携带的信息量发生所携带的信息量发生所携带的信息量原因原因:事件事件事件事件y yj j的出现带来了事件的出现带来了事件的出现带来了事件的出现带来了事件x xi i的部分的信息，导致对事件的部分的信息，导致对事件的部分的信息，导致对事件的部分的信息，导致对事件x xi i的不确的不确的不确的不确定性减小定性减小定性减小定性减小第26页，本讲稿共99页请问请问:当在接收端接收到符号当在接收端接收到符号y y后后,信源的整体特性会发信源的整体特性会发生变化吗生变化吗?如果发生变化如果发生变化,则在该条件下则在该条件下,信源每发送一个符信源每发送一个符号平均可提供的信息是多少号平均可提供的信息是多少?当接收端收到的所有的符号后当接收端收到的所有的符号后当接收端收到的所有的符号后当接收端收到的所有的符号后,发送端的信源每发发送端的信源每发发送端的信源每发发送端的信源每发送一个符号平均可提供多少信息送一个符号平均可提供多少信息送一个符号平均可提供多少信息送一个符号平均可提供多少信息?第27页，本讲稿共99页六六.条件熵条件熵给定给定给定给定y yj条件下集合条件下集合条件下集合条件下集合X X X X的总体信息度量有：的总体信息度量有：的总体信息度量有：的总体信息度量有：再考虑整个再考虑整个再考虑整个再考虑整个Y Y Y Y集合，有：集合，有：集合，有：集合，有：同理：同理：同理：同理：第28页，本讲稿共99页 H(Y|X)表示表示已知已知已知已知X X后后Y Y“残留残留残留残留”的不确定度的不确定度的不确定度的不确定度条件熵的含义：条件熵的含义：表示在已知一随机变量的情况下，对另一随机表示在已知一随机变量的情况下，对另一随机变量的不确定性的度量。变量的不确定性的度量。H(X|Y)表示表示已知已知已知已知Y Y后后后后X“残留残留”的不确定度的不确定度的不确定度的不确定度信道信道X XY Y请问请问：H(X|Y)表示什么意义？表示什么意义？表示接收端接收到表示接收端接收到表示接收端接收到表示接收端接收到Y Y Y Y后对后对后对后对X X X X还残留的不确定度，即对还残留的不确定度，即对还残留的不确定度，即对还残留的不确定度，即对X X X X还有未知的部还有未知的部还有未知的部还有未知的部分，这部分通过信道传输时由于信道中的干扰被损失了分，这部分通过信道传输时由于信道中的干扰被损失了分，这部分通过信道传输时由于信道中的干扰被损失了分，这部分通过信道传输时由于信道中的干扰被损失了第29页，本讲稿共99页七七.联合熵联合熵联合熵联合熵H(XY)含义含义:表示联合随机变量表示联合随机变量表示联合随机变量表示联合随机变量XY携带的信息量，即两者携带的信息量，即两者携带的信息量，即两者携带的信息量，即两者携带的信息之和携带的信息之和携带的信息之和携带的信息之和.第30页，本讲稿共99页八八.各种熵之间的关系各种熵之间的关系1.联合熵与离散熵、条件熵的关系联合熵与离散熵、条件熵的关系同理：同理：第31页，本讲稿共99页当当X X、Y Y相互独立有：相互独立有：第32页，本讲稿共99页2.联合熵与离散熵的关系联合熵与离散熵的关系当当X X和和Y Y相互独立时相互独立时,等式成立等式成立证明：证明：利用对于任意实数利用对于任意实数利用对于任意实数利用对于任意实数x0 x0 x0 x0,有有有有则：则：第33页，本讲稿共99页3.条件熵与离散熵的关系条件熵与离散熵的关系证明：证明：当当X X和和Y Y有确定的函数关系，且有确定的函数关系，且X X可完全确定可完全确定Y Y，或，或Y Y完全确定完全确定X X，则，则 则有则有则有则有 第34页，本讲稿共99页总结总结：各种熵之间的关系：各种熵之间的关系(利用集合概念利用集合概念)X YH(X)H(X)X YH(XY)H(XY)X YH(X|YH(X|Y)X YH(Y|XH(Y|X)第35页，本讲稿共99页设一系统的输入符号集设一系统的输入符号集设一系统的输入符号集设一系统的输入符号集X=X=(x x1 1,x,x2 2,x,x3 3,x,x4 4,x,x5 5)，输出符号集，输出符号集，输出符号集，输出符号集Y=(y y1 1,y2 2,y,y3 3,y,y4 4)输入符号与输出符号间的联合分布为输入符号与输出符号间的联合分布为输入符号与输出符号间的联合分布为输入符号与输出符号间的联合分布为试求试求:H(XY)H(XY)、H(X)H(X)、H(Y)H(Y)、H(Y|X)H(Y|X)和和和和H(X|Y)例例2-42-4第36页，本讲稿共99页解：解：由全概率公式可知：由全概率公式可知：则从已知可求：则从已知可求：则从已知可求：则从已知可求：第37页，本讲稿共99页H(Y|X)=H(XY)-H(X)H(Y|X)=H(XY)-H(X)=2.665-2.066 =2.665-2.066 =0.599bit/symbol =0.599bit/symbolH(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY)-H(Y)=2.665-1.856 =2.665-1.856 =0.809bit/symbol =0.809bit/symbol第38页，本讲稿共99页例例2-52-5：设设A A、B B两地的天气情况分别如表所示：两地的天气情况分别如表所示：晴晴多云多云雨雨冰雹冰雹A A1/21/21/41/41/81/81/81/8B B1/21/21/81/81/81/81/41/4求各地天气情况携带的信息量求各地天气情况携带的信息量解：解：提问：提问：熵能描述主观价值吗？熵能描述主观价值吗？熵能描述主观价值吗？熵能描述主观价值吗？信息熵信息熵无法描述主观意义上事件的重要性无法描述主观意义上事件的重要性无法描述主观意义上事件的重要性无法描述主观意义上事件的重要性,为此引入为此引入为此引入为此引入 加权熵加权熵加权熵加权熵第39页，本讲稿共99页则加权熵定义为：则加权熵定义为：设有随机变量设有随机变量X，引入事件的重要性，其概率空间为，引入事件的重要性，其概率空间为Wi表示事件的重要性表示事件的重要性实际工程中常采用加权熵实际工程中常采用加权熵实际工程中常采用加权熵实际工程中常采用加权熵九九.加权熵加权熵第40页，本讲稿共99页一一.单符号离散信道单符号离散信道 1.1.定义定义:输入和输出都是离散的单符号的信道输入和输出都是离散的单符号的信道。2.2.数学模型数学模型 干扰干扰信道信道信源信源X X输出输出Y Y第41页，本讲稿共99页二二.互信息互信息-从一个符号获得关于另一个符号的信息量从一个符号获得关于另一个符号的信息量从一个符号获得关于另一个符号的信息量从一个符号获得关于另一个符号的信息量 信宿接收到符号信宿接收到符号信宿接收到符号信宿接收到符号yj j后后后后,从从从从y y y yj j中获得关于符号中获得关于符号xi的信息量的信息量I I(x(xi;y;yj j)(i=1,2,r;j=1,2,s)(i=1,2,r;j=1,2,s)1.1.定义定义=信宿收到信宿收到信宿收到信宿收到y yj j前，对信源发送前，对信源发送前，对信源发送前，对信源发送x xi i的不确定性的不确定性的不确定性的不确定性 -信宿收到信宿收到信宿收到信宿收到yj后，对信源发送后，对信源发送后，对信源发送后，对信源发送xi仍然还存在的不确定性仍然还存在的不确定性仍然还存在的不确定性仍然还存在的不确定性 提问提问：xi i通过信道传输后，有多少信息传给了接收端？通过信道传输后，有多少信息传给了接收端？通过信道传输后，有多少信息传给了接收端？通过信道传输后，有多少信息传给了接收端？第42页，本讲稿共99页表示：表示：信道在把符号信道在把符号xi通过信道传递给信宿变成通过信道传递给信宿变成yj的过程中的过程中信道传递的信息量信道传递的信息量单位与自信息量的一致单位与自信息量的一致单位与自信息量的一致单位与自信息量的一致互信息函数互信息函数的导出的导出的导出的导出,为定量描述信息的传输问题为定量描述信息的传输问题为定量描述信息的传输问题为定量描述信息的传输问题,奠定了坚实的基础奠定了坚实的基础奠定了坚实的基础奠定了坚实的基础.提问提问：互信息与条件自信息有什么关系？互信息与条件自信息有什么关系？第43页，本讲稿共99页2.2.互信息的性质互信息的性质(1)(1)对称性对称性I(xi;yj)=I(yj;xi)证明证明:对称性说明：对称性说明：互信息是两个事件之间的共性互信息是两个事件之间的共性。无论从哪。无论从哪个事件获得关于另一个事件的信息都是相等的。个事件获得关于另一个事件的信息都是相等的。第44页，本讲稿共99页(2)(2)互信息量可为零互信息量可为零当事件当事件当事件当事件x xi i，y yj j统计独立时，两者的互信息量统计独立时，两者的互信息量统计独立时，两者的互信息量统计独立时，两者的互信息量I(xI(xi i;y;yj j)=0)=0证明：证明：证明：证明：x xi i，y yj j统计独立统计独立统计独立统计独立则则当互信息量为零，意味着当互信息量为零，意味着当互信息量为零，意味着当互信息量为零，意味着不能从观测其中一个事件获得关于不能从观测其中一个事件获得关于不能从观测其中一个事件获得关于不能从观测其中一个事件获得关于另一个事件的任何信息另一个事件的任何信息另一个事件的任何信息另一个事件的任何信息第45页，本讲稿共99页(3)(3)互信息量可正可负互信息量可正可负互信息量为互信息量为互信息量为互信息量为负负互信息量为互信息量为互信息量为互信息量为正正含义含义:互信息量为正互信息量为正互信息量为正互信息量为正,意味着事件意味着事件意味着事件意味着事件y yj j的出现有助于肯定事件的出现有助于肯定事件的出现有助于肯定事件的出现有助于肯定事件x xi i的出现的出现的出现的出现 互信息量为负互信息量为负互信息量为负互信息量为负,意味着事件意味着事件意味着事件意味着事件y yj j的出现不利于肯定事件的出现不利于肯定事件的出现不利于肯定事件的出现不利于肯定事件x xi i的出现的出现的出现的出现请问请问:在通信中什么原因造成互信息量为负在通信中什么原因造成互信息量为负在通信中什么原因造成互信息量为负在通信中什么原因造成互信息量为负?信道中存在的干扰信道中存在的干扰信道中存在的干扰信道中存在的干扰,导致发生传输错误所致导致发生传输错误所致导致发生传输错误所致导致发生传输错误所致第46页，本讲稿共99页(4)(4)极值性极值性证明：证明：且且且且 p(xp(xi i|yj j)1 1同理极值性说明：极值性说明：自信息量是为了确定事件出现所必需提供的信息量，也自信息量是为了确定事件出现所必需提供的信息量，也自信息量是为了确定事件出现所必需提供的信息量，也自信息量是为了确定事件出现所必需提供的信息量，也是其他事件所能提供的关于该事件的最大信息量是其他事件所能提供的关于该事件的最大信息量是其他事件所能提供的关于该事件的最大信息量是其他事件所能提供的关于该事件的最大信息量第47页，本讲稿共99页例例2-62-6 用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装有用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装有用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装有用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装有测定显示装置，显示符号测定显示装置，显示符号测定显示装置，显示符号测定显示装置，显示符号A A A A、B B B B和和和和C C C C分别表示超重分别表示超重分别表示超重分别表示超重H H H H、正常、正常、正常、正常N N N N和过轻和过轻和过轻和过轻L L L L三种情况。三种情况。三种情况。三种情况。一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却显示一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却显示一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却显示一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却显示B B B B信信信信号，正常的显示号，正常的显示号，正常的显示号，正常的显示C C C C信号。而且总有信号。而且总有信号。而且总有信号。而且总有15%15%15%15%超重和超重和超重和超重和10%10%10%10%正常的的化肥袋子放偏位置。正常的的化肥袋子放偏位置。正常的的化肥袋子放偏位置。正常的的化肥袋子放偏位置。今有一批生产的化肥，超重的占今有一批生产的化肥，超重的占今有一批生产的化肥，超重的占今有一批生产的化肥，超重的占15%15%15%15%，正常的，正常的，正常的，正常的75%75%75%75%，过轻的占，过轻的占，过轻的占，过轻的占10%10%10%10%。请问：当请问：当请问：当请问：当显示装置显示符号为显示装置显示符号为显示装置显示符号为显示装置显示符号为A A A A、B B B B和和和和C C C C时所获得的关于化肥袋超重、正常和过轻时所获得的关于化肥袋超重、正常和过轻时所获得的关于化肥袋超重、正常和过轻时所获得的关于化肥袋超重、正常和过轻的信息量各是多少？的信息量各是多少？的信息量各是多少？的信息量各是多少？第48页，本讲稿共99页解：解：由已知可知由已知可知由已知可知由已知可知 并有下列的条件概率：并有下列的条件概率：并有下列的条件概率：并有下列的条件概率：利用贝叶斯公式，即利用贝叶斯公式，即利用贝叶斯公式，即利用贝叶斯公式，即 可以计算出后验概率可以计算出后验概率:第49页，本讲稿共99页则当显示装置显示符号为则当显示装置显示符号为则当显示装置显示符号为则当显示装置显示符号为A A A A、B B B B和和和和C C C C时所获得的关于化肥袋超重、正常和过轻时所获得的关于化肥袋超重、正常和过轻时所获得的关于化肥袋超重、正常和过轻时所获得的关于化肥袋超重、正常和过轻的信息量各自为：的信息量各自为：的信息量各自为：的信息量各自为：第50页，本讲稿共99页信道XYp(yj|xi)干扰信道Zp(zk|xi yj)提问：提问：当随机变量当随机变量Z Z出现出现zk，请问在此条件下，随机变量，请问在此条件下，随机变量Y Y出现出现yj后，获得关于信源发送符号后，获得关于信源发送符号xi多大的信息量？多大的信息量？第51页，本讲稿共99页定义：定义：联合集联合集联合集联合集中，在给定中，在给定中，在给定中，在给定z zk k的条件下，的条件下，的条件下，的条件下，x xi i与与与与y yj j之间的之间的之间的之间的互信息量定义为条件互信息量，即互信息量定义为条件互信息量，即互信息量定义为条件互信息量，即互信息量定义为条件互信息量，即表明：表明：在随机变量在随机变量在随机变量在随机变量Z Z Z Z出现符号出现符号出现符号出现符号z zk k的前提条件下，从随机变量的前提条件下，从随机变量的前提条件下，从随机变量的前提条件下，从随机变量Y Y Y Y的符号的符号的符号的符号y yj j中获取关于信源中获取关于信源中获取关于信源中获取关于信源X X X X的符号的符号的符号的符号x xi i的信息量的信息量的信息量的信息量等于等于等于等于随机变量随机变量随机变量随机变量Y Y Y Y出现符号出现符号出现符号出现符号y yj j前、后，前、后，前、后，前、后，对信源发送符号对信源发送符号对信源发送符号对信源发送符号x xi i的条件不确定性的减少。的条件不确定性的减少。的条件不确定性的减少。的条件不确定性的减少。二二.条件互信息条件互信息第52页，本讲稿共99页 利用互信息和条件互信息可解决利用互信息和条件互信息可解决利用互信息和条件互信息可解决利用互信息和条件互信息可解决符号序列的信息测量问题符号序列的信息测量问题符号序列的信息测量问题符号序列的信息测量问题第53页，本讲稿共99页例例2-72-7 下表中列出了无失真信源编码消息、消息的先验概率以及每个消下表中列出了无失真信源编码消息、消息的先验概率以及每个消下表中列出了无失真信源编码消息、消息的先验概率以及每个消下表中列出了无失真信源编码消息、消息的先验概率以及每个消息所对应的码字。息所对应的码字。息所对应的码字。息所对应的码字。信源消息信源消息信源消息信源消息a a1 1a a2 2a a3 3a a4 4a a5 5a a6 6a a7 7a a8 8码字码字码字码字0000000010010100100110111001001011011101101