第4讲Shannon信息论ppt课件.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《第4讲Shannon信息论ppt课件.ppt》由会员分享,可在线阅读,更多相关《第4讲Shannon信息论ppt课件.ppt(42页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院第4讲Shannon信息论ppt课件 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农简介 香香农农(1916-2001),生生于于美美国国密密执执安安州州的的加加洛洛德德。1940年年获获得得麻麻省省理理工工学学院院数数学学博博士士学学位位和和电电子子工工程程硕硕士士学学位位。1941年年他他加加入入了
2、了贝贝尔尔实实验验室室数数学学部部,在在 此此 工工 作作 了了1 5年年。2现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农简介 香农在信息论的领域香农在信息论的领域中钻研了中钻研了8年之久,终于年之久,终于在在1949年在贝尔系统年在贝尔系统技术杂志发表了技术杂志发表了244页页的长篇论著的长篇论著-保密系保密系统的通信理论统的通信理论。次年,。次年,他又在同一杂志上发表了他又在同一杂志上发表了另一篇名著另一篇名著-噪声下噪声下的通信的通信。3现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农理论简介 第一篇文章奠定了香
3、农信息基本理论的基础。第一篇文章奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代他在文中用非常简洁的数学公式定义了信息时代的基本概念:熵。的基本概念:熵。“熵熵”的概念起源于热力学,是度量分子不规的概念起源于热力学,是度量分子不规则热运动的单位。香农的伟大贡献在于,利用概则热运动的单位。香农的伟大贡献在于,利用概率分布的理论给出率分布的理论给出“熵熵”的严格定义。的严格定义。根据香农的定义,确定发生的事件如根据香农的定义,确定发生的事件如“太阳太阳从东边升起从东边升起”与确定不发生的事件如与确定不发生的事件如“太阳从西太阳从西边升起边升起”,其熵都是零。,其熵都是零。只
4、有当发生与不发生只有当发生与不发生 的的概率相同时,事件的熵才达到极大。概率相同时,事件的熵才达到极大。4现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农理论简介 在熵的基础上定义的在熵的基础上定义的信道容量信道容量也是通讯中一也是通讯中一个至关重要的概念。由此,香农推出了一个公式,个至关重要的概念。由此,香农推出了一个公式,明确表达了明确表达了在不同噪声情况下传输速率与失真的在不同噪声情况下传输速率与失真的定量关系定量关系。从这一个公式导出的为达到无失真通。从这一个公式导出的为达到无失真通讯的传输速讯的传输速 率的极限,现已称为率的极限,现已称为香农极限香
5、农极限。打个。打个比方来说,在周围干扰严重的情比方来说,在周围干扰严重的情 况下,要想使对况下,要想使对方听清楚,你就只有慢慢地讲,甚至还要不断重方听清楚,你就只有慢慢地讲,甚至还要不断重复。复。5现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农理论应用香农理论应用n如今,这两个原理已广泛应用于信息处理如今,这两个原理已广泛应用于信息处理和实际通信中。只要涉及信息的和实际通信中。只要涉及信息的压缩压缩与与传传递递,就要用到香农的理论。,就要用到香农的理论。nPC机上常用的机上常用的WinZip(无损压缩算法无损压缩算法)n手机通讯手机通讯(有损压缩有损压缩无
6、损压缩无损压缩,纠纠 错错)n在因特网上传递多媒体数据在因特网上传递多媒体数据(MP3音乐压缩格式音乐压缩格式)6现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院第三章第三章 Shannon保密理论保密理论n 密码体制的数学模型密码体制的数学模型n 随机事件的熵及其性质随机事件的熵及其性质7现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院通信系统信源信源编码器编码器解码器解码器接收者接收者干扰源干扰源信道信道设计目的:设计目的:在信道有干扰的情况下,使得接收者接在信道有干扰的情况下,使得接收者接 收到的信息无差错或差错尽可能的小。
7、收到的信息无差错或差错尽可能的小。8现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院保密系统9现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院保密系统n设计目的:设计目的:使得窃听者即使完全准确地接使得窃听者即使完全准确地接 收带了信道上传输的信号也无收带了信道上传输的信号也无 法恢复出原始的信息。法恢复出原始的信息。10现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院密码体制的数学模型密码体制的数学模型n明文明文(离散信源离散信源)空间的统计特性:无空间的统计特性:无记忆记忆和有记和有记忆忆n密钥
8、源通常是密钥源通常是无记忆无记忆的,并且满足的,并且满足均匀均匀分布分布n密文空间的统计特性由明文空间和密钥空间的统密文空间的统计特性由明文空间和密钥空间的统计特性决定计特性决定n假定信道无干扰,假定分析者能够截获密文,且假定信道无干扰,假定分析者能够截获密文,且知道所用的密码体制以及明文空间和密钥空间的知道所用的密码体制以及明文空间和密钥空间的统计特性统计特性11现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院3.2 随机事件的熵及其性质随机事件的熵及其性质 主要内容:如何定量刻划一个随机事件包含的信息量用熵的概念!熵(entropy)这个数学工具自身的理论.
9、12现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院何为信息何为信息?什么能提供信息什么能提供信息?我将你原来不知道的结果告诉你,就是提供了信息!例例1 当我给你一封信时,你就从我这里获得了信息,因为你事先并不知道其中的内容。例例2 设电脑彩票由8个10进制数组成.在开奖之前,我们不知道特等奖号码的信息,因为特等奖的号码是不确定。特等奖号码的信息只有在开奖时才获得。一旦开奖,就获得了8个十进制数的信息。这就是说,将未知的变成已知的时就获得了信这就是说,将未知的变成已知的时就获得了信息!息!信息寓于不确定之中!信息寓于不确定之中!13现代密码学现代密码学解放军信息
10、工程大学电子技术学院解放军信息工程大学电子技术学院信息量信息量我向你提供的信息量的大小就是你事先不知道结果的程度!也即是信息的不确定度。如果你事先全知道了,说明我提供的信息量等于0;如果你事先一无所知,说明我提供的信息量最多.不知道意味着在我告诉你之前你只能猜测!猜测就是按照每个可能结果的出现概率进行猜测!因此,你只知道这个事情的每个结果的发生概率!所以,我提供的信息量就是由你事先知道的每个可能结果的发生概率(即随机事件的概率分布)决定.14现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院简单地说简单地说,信息就是信息就是:(1)当未知的变成已知的当未知的变成已
11、知的之后之后获取的信息获取的信息;(2)当未知的还没变成已知当未知的还没变成已知之前之前包含的未知信息包含的未知信息.信息寓于不确定之中!信息寓于不确定之中!谁的信息谁的信息!通常的信息是指通常的信息是指:(1)一个实验提供的信息一个实验提供的信息;(2)一个随机事件包含的信息一个随机事件包含的信息;(3)一个随机变量包含的信息一个随机变量包含的信息.其中其中(1)和和(2)的含义相同的含义相同,它们比它们比(3)的意义的意义更更 加广泛加广泛.15现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院随机事件和随机变量随机事件和随机变量定义定义1:设一个实验有设一个
12、实验有 共共n个可能的结果,个可能的结果,则每个可能结果都称为一个事件。则每个可能结果都称为一个事件。这个实验也称这个实验也称为一个随机事件。为一个随机事件。性质性质1:设设X是一个离散随机变量,它有是一个离散随机变量,它有n个可能的个可能的取值,设每种取值出现的概率为取值,设每种取值出现的概率为p(xi),则则16现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 一、随机事件的熵一、随机事件的熵 一个事件可能发生,也可能不发生!但我们总在一个事件可能发生,也可能不发生!但我们总在每个事件每个事件 发生的概率发生的概率 都已知的条件下分析!都已知的条件下分析!这
13、个实验提供的信息就是:这个实验提供的信息就是:(1)实验前实验前该实验所包含的未知信息;该实验所包含的未知信息;(2)实验后实验后这个实验所提供的信息这个实验所提供的信息.如何对信息量的大小进行定量刻划如何对信息量的大小进行定量刻划?再看一下彩票的例子再看一下彩票的例子.17现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院例例3 设电脑彩票由设电脑彩票由8个个10进制数组成,在开奖之前,进制数组成,在开奖之前,108个可能号码成为特等奖的概率相同个可能号码成为特等奖的概率相同,都是都是10-8.一一旦开奖旦开奖,我们就知道了特等奖的我们就知道了特等奖的8个具体号
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Shannon 信息论 ppt 课件
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内