人工神经网络理论设计及应用教学课件汇总整本书电子教案全套教学教程完整版电子教案(最新).ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《人工神经网络理论设计及应用教学课件汇总整本书电子教案全套教学教程完整版电子教案(最新).ppt》由会员分享,可在线阅读,更多相关《人工神经网络理论设计及应用教学课件汇总整本书电子教案全套教学教程完整版电子教案(最新).ppt(158页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、人工神经网络第一章第一章:绪论绪论21 1 绪绪 论论31.1 概述概述 人脑的结构、机制人脑的结构、机制和功能中凝聚着无比的和功能中凝聚着无比的奥秘和智慧。奥秘和智慧。地地球球是是宇宇宙宙的的骄骄子子,人人类类是是地地球球的的宠宠儿儿,大大脑脑是是人人的的主主宰宰。现在是探索脑的奥秘,现在是探索脑的奥秘,从中获得智慧,在其启发从中获得智慧,在其启发下构造为人类文明服务的下构造为人类文明服务的高级智能系统的时候了!高级智能系统的时候了!4(一一)记忆与联想能力记忆与联想能力(二二)学习与认知能力学习与认知能力(三三)信息加工能力信息加工能力(四四)信息综合能力信息综合能力(五五)信息处理速度信
2、息处理速度一、人脑与计算机信息处理能力的比较一、人脑与计算机信息处理能力的比较5二、人脑与计算机信息处理机制的比较二、人脑与计算机信息处理机制的比较p(一一)系统结构系统结构p(二二)信号形式信号形式p(三三)信息存储信息存储p(四四)信息处理机制信息处理机制6三、什么是人工神经网络三、什么是人工神经网络p 生物神经网络生物神经网络 人类的大脑大约有1.41011个神经细胞,亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接,形成复杂的生物神经网络。p人工神经网络人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象,并建立某种简化模型,就称为人工神经网络(Art
3、ificial Neural Network,缩写 ANN)。7人工神经网络定义人工神经网络定义p神经网络是由多个非常简单的处理单元彼此按神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统,该系统某种方式相互连接而形成的计算系统,该系统是靠其状态对外部输入信息的动态响应来处理是靠其状态对外部输入信息的动态响应来处理信息的。信息的。p人工神经网络是一个由许多简单的并行工作的人工神经网络是一个由许多简单的并行工作的处理单元组成的系统,其功能取决于网络的结处理单元组成的系统,其功能取决于网络的结构、连接强度以及各单元的处理方式。构、连接强度以及各单元的处理方式。p人工神经网络是
4、一种旨在模仿人脑结构及其功人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。能的信息处理系统。81.21.2神经网络的基本特征神经网络的基本特征结构特征:结构特征:并行式处理并行式处理分布式存储分布式存储容错性容错性能力特征:能力特征:自学习自学习自组织自组织自适应性自适应性91.3 1.3 神经网络的基本功能神经网络的基本功能联联想想记记忆忆功功能能101.3 1.3 神经网络的基本功能神经网络的基本功能非线性映射功能非线性映射功能111.3 1.3 神经网络的基本功能神经网络的基本功能分类与识别功能分类与识别功能121.3 1.3 神经网络的基本功能神经网络的基本功能优化计算功能优
5、化计算功能13知识处理功能知识处理功能1.3 1.3 神经网络的基本功能神经网络的基本功能14第一章小结第一章小结p(1)(1)什么是人工神经网络什么是人工神经网络p(2)(2)人工神经网络的基本特征人工神经网络的基本特征p(3)(3)人工神经网络的基本功能人工神经网络的基本功能第二章第二章 神经网络基础知识神经网络基础知识p生物神经元p人工神经元模型p人工神经网络模型神经生理学和神经解剖学的研究结果神经生理学和神经解剖学的研究结果表明,神经元表明,神经元(Neuron)(Neuron)是脑组织的基本单是脑组织的基本单元,是人脑信息处理系统的最小单元。元,是人脑信息处理系统的最小单元。p生物神
6、经元生物神经元p生物神经网络生物神经网络2.12.1人工神经网络的生物学基础人工神经网络的生物学基础2.1.12.1.1生物神经元生物神经元 生物神经元在结构上由生物神经元在结构上由:细胞体细胞体(Cell body)、树突树突(Dendrite)、轴突轴突(Axon)、突触突触(Synapse)四部分组成。用来完成四部分组成。用来完成神经元间信息的接收、神经元间信息的接收、传递和处理。传递和处理。人人工工神神经经网网络络的的生生物物学学基基础础人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生
7、神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是是一种电化学活动。一种电化学活动。神经元状态:神经元状态:静息静息兴奋兴奋抑制抑制 膜电位:膜电位:极极 化化去极化去极化超极化超极化人人工工神神经经网网络络的的生生物物学学基基础础人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理二二信信息息的的传传递递与与接接收收人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理三、信息的整合三、信息的整合空间整合:空间整合:同一时刻产生的刺激所引起的同一时刻
8、产生的刺激所引起的膜电位变化,大致等于各单独刺激引起的膜电位变化,大致等于各单独刺激引起的膜电位变化的代数和。膜电位变化的代数和。时间整合:时间整合:各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。人人工工神神经经网网络络的的生生物物学学基基础础2.1.3 2.1.3 生物神经网络生物神经网络 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息
9、处理功能的简单叠加。处理功能的简单叠加。神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性,这使神经网络在宏观同并且具有可塑性,这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。人人工工神神经经网网络络的的生生物物学学基基础础2.22.2神经元的人工模型神经元的人工模型 神经元及其突触是神经网络的基本神经元及其突触是神经网络的基本器件。因此,模拟生物神经网络应首先器件。因此,模拟生物神经网络应首先模拟生物神经元模拟生物神经元 人工神经元人工神经元(节节点点)从三个方面进行模拟从三个方面进行模拟:p节点本身的信息处
10、理能力节点本身的信息处理能力p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)决定人工神决定人工神经网络整体经网络整体性能的三大性能的三大要素要素p节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)神神经经元元的的人人工工模模型型2.2.12.2.1神经元的建模神经元的建模(1)(1)每个神经元都是一个多输入单输出的信息处理单元;每个神经元都是一个多输入单输出的信息处理单元;(2)(2)神经元
11、输入分兴奋性输入和抑制性输入两种类型;神经元输入分兴奋性输入和抑制性输入两种类型;(6)(6)神经元本身神经元本身是非时变的是非时变的,即其突触时延和突触强度,即其突触时延和突触强度 均为常数。均为常数。(3)(3)神经元具有空间整合特性和阈值特性;神经元具有空间整合特性和阈值特性;(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞,主要取决于突触延搁;主要取决于突触延搁;(5)(5)忽略忽略时间整合作用和不应期;时间整合作用和不应期;模型的六点假设:模型的六点假设:神神经经元元的的人人工工模模型型假设假设1 1:多输入单输出:多输入单输出p图(a)表明,正如生物神经元有
12、许多激励输入一表明,正如生物神经元有许多激励输入一祥,人工神经元也应该有许祥,人工神经元也应该有许多的的输入信号,图中信号,图中每个输入的大小用确定数值每个输入的大小用确定数值x xi i表示,它们同时输入表示,它们同时输入神经元神经元j j,神经元的单输出神经元的单输出用用o oj j表示。表示。神神经经元元的的人人工工模模型型假设假设2 2:输入类型:兴奋性和抑制性:输入类型:兴奋性和抑制性p生物神经元具有不同的突触性质和突触强度,其对输生物神经元具有不同的突触性质和突触强度,其对输入的影响是使有些输入在神经元产生脉冲输出过程中入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外
13、一些输入更为重要。所起的作用比另外一些输入更为重要。图图(b)(b)中对神经中对神经元的每一个输入都有一个加权系数元的每一个输入都有一个加权系数w wijij,称为权重值,称为权重值,其正负模拟了生物神经元中突触的兴奋和抑制其正负模拟了生物神经元中突触的兴奋和抑制,其,其大小则代表了突触的不同连接强度。则代表了突触的不同连接强度。神神经经元元的的人人工工模模型型假设假设3 3:空间整合特性和阈值特性:空间整合特性和阈值特性p作为作为ANNANN的基本处理单元,必须对全部输入信号进行整的基本处理单元,必须对全部输入信号进行整合,以确定各类输入的作用总效果,图合,以确定各类输入的作用总效果,图(c
14、)(c)表示组合输表示组合输人信号的人信号的“总和值总和值”,相应于生物神经元的膜电位。,相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平,即只有当其输神经元激活与否取决于某一阈值电平,即只有当其输入总和超过阈值时入总和超过阈值时,神经元才被激活而发放脉冲神经元才被激活而发放脉冲,否否则神经元不会产生输出信号。则神经元不会产生输出信号。神神经经元元的的人人工工模模型型神经元的输出神经元的输出p图图(d)(d)人人工工神神经经元元的的输输出出也也同同生生物物神神经经元元一一样样仅仅有有一一个个,如如用用o oj j表表示示神神经经元元输输出出,则则输输出出与与输输入入之之间间的的对对应
15、应关关系系可可用用图图(d)(d)中中的的某某种种非非线线性性函函数数来来表表示示,这这种种函函数一般都是非线性的。数一般都是非线性的。神神经经元元的的人人工工模模型型神经元模型示意图神经元模型示意图神神经经元元的的人人工工模模型型2.2.2神经元的数学模型神经元的数学模型ij 输入输出间的突触时延;输入输出间的突触时延;Tj 神经元神经元j的阈值;的阈值;wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值;权重值;f()神经元转移函数。神经元转移函数。(2.1)(2.2)神神经经元元的的人人工工模模型型(2.3)netnetj j=W Wj jT TX X W Wj
16、 j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令 x0=-1,w0=Tj 则有则有 -Tj=x0w0(2.4)2.2.22.2.2神经元的数学模型神经元的数学模型神神经经元元的的人人工工模模型型(2.5)oj=f(netj)=f(W Wj jT TX X)(2.6)2.2.22.2.2神经元的数学模型神经元的数学模型神神经经元元的的人人工工模模型型2.2.32.2.3神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区神经元各种不同数学模型的主要区别在于采用了不同的别在于采用了不同的转移函数转移函数,从而使,从而使神经元具有不同的信息处理特性。神经神经
17、元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络元的信息处理特性是决定人工神经网络整体性能的整体性能的三大要素之一三大要素之一,反映了神经,反映了神经元输出与其激活状态之间的关系,最常元输出与其激活状态之间的关系,最常用的转移函数有用的转移函数有4 4种形式。种形式。神神经经元元的的人人工工模模型型(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(2.7)0 x02.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(2)非线性转移函数非线性转移函数2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(3)分段
18、线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xxc (2.9)1 xc x 2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(4)概率型转移函数概率型转移函数温度参数温度参数2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型p节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)人人工工神神经经网网络络模模型型2.32.3人工神经网络模型人工神经网络模型p分类:分类:按网络连接的
19、拓扑结构分类层次型结构层次型结构互连型网络结构互连型网络结构按网络内部的信息流向分类前馈型网络前馈型网络反馈型网络反馈型网络人人工工神神经经网网络络模模型型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 :p层层次次型型结结构构:将将神神经经元元按按功功能能分分成成若若干干层层,如如输输入入层层、中中间间层层(隐隐层层)和和输输出出层层,各各层层顺序顺序相连。相连。p互互连连型型网网络络结结构构:网网络络中中任任意意两两个个节节点点之之间都可能存在连接间都可能存在连接路径路径.人人工工神神经经网网络络模模型型2.3.1网络拓扑结构类型网络拓扑结构类型 层层次次型型结结构构2.32.3人工
20、神经网络模型人工神经网络模型人人工工神神经经网网络络模模型型输输出出层层到到输输入入层层有有连连接接人人工工神神经经网网络络模模型型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 层层内内有有连连接接层层次次型型结结构构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型全互连型结构全互连型结构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型局局部部互互连连型型网网络络结结构构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型2.3.22.3.2网络信息流向类型网络信息流向类型p前
21、馈型网络前馈型网络前前馈馈:网网络络信信息息处处理理的的方方向向是是从从输输入入层层到到各各隐层再到输出层逐层进行隐层再到输出层逐层进行p反馈型网络反馈型网络在在反反馈馈网网络络中中所所有有节节点点都都具具有有信信息息处处理理功功能能,而而且且每每个个节节点点既既可可以以从从外外界界接接收收输输入入,同同时时又可以向外界输出。又可以向外界输出。人人工工神神经经网网络络模模型型前前馈馈型型网网络络2.3.22.3.2网络信息流向类型网络信息流向类型人人工工神神经经网网络络模模型型反反馈馈型型网网络络人人工工神神经经网网络络模模型型2.3.22.3.2网络信息流向类型网络信息流向类型p节点本身的信
22、息处理能力节点本身的信息处理能力(数学模型数学模型)p节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)p相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)神神经经网网络络学学习习 神经网络能够通过对样本的学习神经网络能够通过对样本的学习训练,不断改变网络的连接权值以及训练,不断改变网络的连接权值以及拓扑结构,以使网络的输出不断地接拓扑结构,以使网络的输出不断地接近期望的输出。这一过程称为神经网近期望的输出。这一过程称为神经网络的学习或训练,其本质是可变权值络的学习或训练,其本质是可变权值的动态调整。的动态调整。2.42.4神经网络学习神经网络学习神神经经网网络络学学习习神经网
23、络的学习类型:神经网络的学习类型:有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习2.42.4神经网络学习神经网络学习神神经经网网络络学学习习学习的过程(权值调整的一般情况学习的过程(权值调整的一般情况 )神神经经网网络络学学习习2.4神经网络学习神经网络学习第二章小结第二章小结 重点介绍了生物神经元的结构及其信息处理机制、重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中,神经元的数学模型、神经网络的连接习规则。其中,神经元的数学模型、
24、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。理性能的三大要素。p(1)(1)生物神经元的信息处理生物神经元的信息处理p(2)(2)人工神经元模型人工神经元模型p(3)(3)人工神经网络模型人工神经网络模型p(4)(4)神经网络学习神经网络学习第三章第三章 前馈人工神经网络前馈人工神经网络误差反传(误差反传(BPBP)算法的改进与算法的改进与BPBP网络设计网络设计3.43.4基于基于BPBP算法的多层前馈网络模型算法的多层前馈网络模型p三层三层BPBP网络网络输入层输入层隐层隐层输出层输出层p模型的数学表达模型的数
25、学表达输入向量:输入向量:X=(x1,x2,xi,xn)T隐层输出向量:隐层输出向量:Y=(y1,y2,yj,ym)T输出层输出向量:输出层输出向量:O=(o1,o2,ok,ol)T期望输出向量期望输出向量:d=(d1,d2,dk,dl)T输入层到隐层之间的权值矩阵:输入层到隐层之间的权值矩阵:V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵:隐层到输出层之间的权值矩阵:W=(W1,W2,Wk,Wl)各个变量之间如何建立联系,来描述整个网络?各个变量之间如何建立联系,来描述整个网络?神经网络的学习神经网络的学习p学习的过程:学习的过程:神经网络在外界输入样本的刺激下不断改变网络的连接权
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 理论 设计 应用 教学 课件 汇总 电子 教案 全套 教程 完整版 最新
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内