第七章 限失真信源编码优秀PPT.ppt

第七章限失真信源编码现在学习的是第1页，共39页信宿信源编码器/信道YXR=I(X;Y)R(D)概述概述第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第2页，共39页7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第3页，共39页失真矩阵7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第4页，共39页常用的失真函数有：（1）汉明失真（2）平方误差失真函数失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第5页，共39页例7.1.1设信道输入，输出，规定失真函数d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D。解：7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第6页，共39页例7.1.1设信道输入，输出，规定失真函数d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5，求D。解：7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第7页，共39页符号序列的失真函数7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第8页，共39页例7.1.2假设信源输出序列，其中每个随机变量均取值于。经信道传输(编码）后的输出为，其中每个随机变量均取值于。定义失真函数 d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，求失真矩阵D(N）。7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第9页，共39页7.1.1 7.1.1 失真函数失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第10页，共39页7.1.2 7.1.2 平均失真平均失真 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度现在学习的是第11页，共39页第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度7.1.2 7.1.2 平均失真平均失真 现在学习的是第12页，共39页第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码失真测度失真测度7.1.2 7.1.2 平均失真平均失真 现在学习的是第13页，共39页7.2.1D 允许信道 保真度准则 D失真允许信道 7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数现在学习的是第14页，共39页7.2.2信息率失真函数的定义当信源为离散无记忆平稳信源、信道为离散无记忆平稳信道时7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数现在学习的是第15页，共39页是在信道固定前提下，选择一种信源概率分布使信息传输率最大（求极大值）。它反映了信道传输信息的能力，是信道可靠传输的最大信息传输率。信道容量与信源无关，是反映信道特性的参量，不同的信道其信道容量不同。7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数现在学习的是第16页，共39页是在信源固定，满足保真度准则的条件下的信息传输率的最小值。反映了满足一定失真度的条件下信源可以压缩的程度，也就是满足失真要求而再现信源消息所必须获得的最少平均信息量。是信源特性的参量，一旦求到就与求极值过程中选择的试验信道无关，不同的信源率失真函数不同。7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数现在学习的是第17页，共39页 这两个概念适用范围是不一样。研究信道容量C 是为了解决在已知信道中尽可能多地传送信息的问题，是为了充分利用已给定的信道，使传输的信息量最大而错误概率任意小，以提高通信的可靠性，这是信道编码的问题。研究信息率失真函数是为了解决在已知信源和允许失真度条件下，使信源输出的信息率尽可能小，也就是在允许一定失真度D 的条件下，使信源必须传送给信宿的信息量最少，尽可能用最少的码符号来传送信源信息，使信源的信息可以尽快地传送出去，以提高通信的有效性，这是信源编码问题。7.2 7.2 信息率失真函数信息率失真函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数信息率失真函数现在学习的是第18页，共39页1.1.的定义域的定义域 例7.3：删除信道，求第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第19页，共39页1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第20页，共39页例7.4 设信源 ,，求1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第21页，共39页解：1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第22页，共39页1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第23页，共39页例：二元信源,计算。1.1.的定义域的定义域 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第24页，共39页对于任意和有2.2.是关于是关于D D的下凸函数的下凸函数 第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第25页，共39页3.3.在定义域内是严格递减函数在定义域内是严格递减函数第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的性质信息率失真函数的性质现在学习的是第26页，共39页例7.6二元信源的信息率失真函数信源输出符号集为（0，1），失真函数定义为，求。7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第27页，共39页解：（1）由 计算 和 。（2）由 计算 和 。（3）将求得的 ，和 ，代入得到平均失真度D(S)，并将S表示为D的函数。7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第28页，共39页（4）将参量S代入得到率失真函数。7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第29页，共39页7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第30页，共39页等概信源的信息率失真函数。例7.7信源输出符号集，等概分布，输出符号集，失真函数定义为 求。7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第31页，共39页7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第32页，共39页例7.8设信源符号集 。概率分布为 ，失真函数选为求当允许的失真度为1/2时信源的率失真函数。7.3.1 应用参量表示式计算第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第33页，共39页例7.9二元信源的信息率失真函数信源输出符号集为（0，1），失真函数定义为汉明失真，求。7.3.2 二元信源和离散等概信源的第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算现在学习的是第34页，共39页解：且满足该最小失真的试验信道是一个无噪无损信道。第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算7.3.2 二元信源和离散等概信源的现在学习的是第35页，共39页当时，第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算7.3.2 二元信源和离散等概信源的现在学习的是第36页，共39页第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码信息率失真函数的计算信息率失真函数的计算7.3.2 二元信源和离散等概信源的现在学习的是第37页，共39页定理7.1设是离散无记忆信源的信息率失真函数。对于任意的允许失真度和任意小的正数，当信源序列长度N 足够长时，一定存在一种编码其码字个数而编码后的平均失真度。7.4 7.4 限失真信源编码定理和逆定理限失真信源编码定理和逆定理第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码限失真信源编码定理限失真信源编码定理现在学习的是第38页，共39页定理7.2否则，如果则编码后的平均失真度。7.4 7.4 限失真信源编码定理和逆定理限失真信源编码定理和逆定理第七章：限失真编码第七章：限失真编码第七章：限失真编码第七章：限失真编码限失真信源编码定理限失真信源编码定理现在学习的是第39页，共39页