香农信息论在信息处理中的应用要点ppt课件.ppt

香农信息论在信息处理香农信息论在信息处理中的应用中的应用第一部分第一部分 香农香农信息论的简介信息论的简介第二部分第二部分 信息论的应用信息论的应用 香农信息论的主要内容香农信息论的主要内容 （1 1）把信息定义为）把信息定义为“用来消除不确定性的东西用来消除不确定性的东西”，并，并给出了其度量公式给出了其度量公式-熵和互信息；熵和互信息； （2 2）建立了一些重要的性能界：信源输出的最大可能）建立了一些重要的性能界：信源输出的最大可能的信息量，满足一定失真度的要求所必须传递的最小信的信息量，满足一定失真度的要求所必须传递的最小信息量，信道上的最大可能通过能力等；息量，信道上的最大可能通过能力等；（3 3）建立了一组重要的编码定理，从理论上指明了为）建立了一组重要的编码定理，从理论上指明了为 达到上述性能界限应当遵循的信息处理的方法和原则。达到上述性能界限应当遵循的信息处理的方法和原则。 这不仅从定性方面而且也从定量方面深刻地揭示了信息这不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段转变为传递和处理的规律，使通信的研究从经验的阶段转变为科学。科学。 香农信息论 1948年，年，“信息论之父”香农发表了一香农发表了一篇著名的论文篇著名的论文通信的数学理论通信的数学理论。论。论文给出了信息传输问题的一系列重要结文给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论这就是香农信息论，也叫狭义信息论(简简称称“信息论信息论”)。香农信息论体系结构香农信息论体系结构ShannonShannon信息论信息论压缩理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理ShannonShannon19481948McMillanMcMillan19531953变长编码变长编码定理定理ShannonShannon19481948McMillanMcMillan19561956HuffmanHuffman码码(1952)(1952)、FanoFano码码算术码算术码(1976,1982)(1976,1982)LZLZ码码(1977,1978)(1977,1978)失真理论失真理论ShannonShannonGallagerGallagerBergerBerger压缩编码压缩编码JPEGJPEGMPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码信道信源译码器译码器编码器编码器信宿噪声通信系统模型通信系统模型 信号信号信号加信号加噪声噪声消息消息消息消息可靠性可靠性 使信源发出的消息经过信道传输以后，使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。尽可能准确地、不失真地再现于接收端。有效性有效性 经济性好，即用尽可能短的时间和尽可经济性好，即用尽可能短的时间和尽可能少的设备来传送能少的设备来传送定数量的信息。定数量的信息。 保密性保密性 隐蔽和保护通信系统中传送的消息，使隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接它只能被授权接收者获取，而不能被未授权者接收和理解。收和理解。认证性认证性 接收者能正确判断所接收的消息的正确接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改性，验证消息的完整性，而不是伪造的和被窜改的。的。有效性、可靠性、保密性和认证性四者构成现代有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的通信系统对信息传输的全面要求全面要求。数据压缩：数据压缩：香农第一定理香农第一定理语音信号压缩（语音信号压缩（G.711, GSMG.711, GSM）长途电话网标准的语音编码速率已从 1972 年 CCIT T G .711 标准中的 64 k bit / s 降低到 1992年 CCI T T 标准中的 16 k bit / s。在移动通信中 1988 年欧洲 GSM 标准中的语音编码速率为 13 .2 kbi t / s , 而 1989 年美国 CTIA 标准中的速率为 7 .95 kbit/ s。对语音质量要求较低的军用通信,美国 NSA 标准的速率在 1975 年时已达到2 .4 kbi t / s。目前,在实验室中已实现 600 bi t / s 的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于 100 bit / s ,已接近信息论指出的极限。信息论在信息处理中的应用信息论在信息处理中的应用图象信号的压缩（图象信号的压缩（JPEG, MPEGJPEG, MPEG） 经过多年的研究,到 20 世纪 80 年代时图像压缩逐步进入建立标准的阶段。 1989 年 CCIT T 提出电视电话/ 会议电视的压缩标准 H .261, 其压缩比达到25 1到 48 1 左右。 1991 年 CCIT T 与 ISO 联合提出的 “多灰度静止图像压缩编码” 标准 JPEG,其压缩比为 24 1。 对常规电视信号的压缩在 1991 年提出的国际标准 MPEG-1 中其平均压缩比可达 50 1。计算机文件压缩（计算机文件压缩（compress, gzipcompress, gzip） 较好的算法都能使各种文件压缩后所需的存储量只为原文件的 25%到50% ,其平均值约为 30%左右。压缩所需的时间和存储器开销都不大。目前,各种压缩算法已在计算机中得到广泛的应用。信息论的应用信息论的应用模拟话路中数据传输速率的提高模拟话路中数据传输速率的提高 最早的调解器其速率只有 300 bi t / s ,而信息论指出,标称带宽为 4 kHz,信噪比为 25 dB 的话路信道的极限速率应在 25 kbi t / s左右。所以在以后的三十多年中就开始了提高速率的长期的、 现在看来是极其成功的工作。1967 年速率为 4 800 bi t / s , 1971 年为 9 600 bi t / s , 1980 年开始进4 应用信息论基础入 14 .4 kbi t / s , 1985 年时利用多维网格编码调制的调解器Codex2680使速率达到 19 .2 k bit / s ,非常接近于理论极限。信息论的应用信息论的应用降低信息传输所需的功率降低信息传输所需的功率,因为根据信息理论的分析,采用低码率的信道编码可以降低传送单位比特所需的能量 Eb与噪声功率谱密度 N0 之比。现在利用不太复杂的信道编码就可以使同样误码率下所需的 Eb/ N0 比不采用信道编码时低 6 dB 左右。其中一些好的方案(如用 RS 码作为外码、 卷积码作为内码的方案)可以使误码率在 10- 5的情况下所需的 Eb/ N0降到 0 .2 dB,比不用信道编码时所需的 10 .5 dB降低了近 10 dB。信息论的应用信息论的应用计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证 目前普遍采用的解决办法是带自动重发请求的差错检测码。差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用,但较大的网一般都用循环冗余检验。这种方法已被各种网络通信协议采用并成为标准。信息论的应用信息论的应用计算机中的容错问题计算机中的容错问题如何保证存取的正确性已成为越来越突出的问题。特别是在外存中,由于存储量大,而且存储体的表面难免有缺损,要保证绝对不发生差错已不可能,现在广泛采取的解决办法是增加适当的检错纠错装置。例如 IBM4300, Cray-1 等大型机的内存都有较简单的检错纠错措施。而在外存中,根据不同的情况和要求从较简单的 Fir e 码到 BCH码以及 RS 码等都被广泛使用, 例如在 IBM360 的光盘存储器中就采用了RS 码。信息论的应用信息论的应用图像信号的复原与重建图像信号的复原与重建图像的复原与重建是图像信号处理的一个重要内容,在实用中有很大的价值。20 世纪 80 年代以来,最大熵方法在图像复原与重建中取得了很大的成功。在退化图像复原中,图像退化的原因是多种多样的,如由于景物的运动、 光学系统的不理想、 噪声等等。图像重构的形式也很多, 如计算机层析图像、 合成孔径射电望远镜图像、 结晶学研究中用的光学干涉仪或无线电干涉仪的图像、 核磁共振波谱仪图像等。在这些应用中最大熵方法较其他方法优越的主要原因是其合理性,即所得结果是我们可以而且能够期望的最好结果。同时也有一些派生的好处,如在盲解卷时同时给出卷积函数,在重建图像中可以同时对仪器中的某些参数进行校正等等。虽然最大熵法在这些应用中目前还不能给出性能的解析表达式,但算法已比较成熟,如常用的剑桥算法等。信息论的应用信息论的应用 在一点精确地或近似地恢复另一点所选择的消息。 通信系统的三项基本性能指标：传输的有效性 最短的码字，单位的时间传输更多。传输的可靠性：减少差错，降低错误率传输的安全性：不被未授权的一方获取 数据压缩 数据纠错 数据加密前两项：1948 香农的论文建立理论基础第三项1945年：密码学的数学理论中给出，1949公开发表为保密系统的通信理论，奠定了现代密码学的理论基础，使密码学从艺术变成了科学。香农建立了三项技术的理论基础，一般认为第三项属于密码学和信息安全的范畴，而前两项属于信息论的内容。 过去过去5050年中年中ShannonShannon信息论已取得巨大、丰富的理信息论已取得巨大、丰富的理论和技术成果，论和技术成果， 当前信息论对无线通信的重要作用为当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。需要更多的信息论人才。 InternetInternet通信、移动通信、光存储、生物等领域将通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。向信息论提出新的挑战。 结语结语谢谢大家！