医学专题一人工神经网络.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《医学专题一人工神经网络.ppt》由会员分享,可在线阅读,更多相关《医学专题一人工神经网络.ppt(87页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、1第第3讲讲 人工神经网络人工神经网络 欧阳(u yng)柳波 第一页,共八十七页。2/65人工神经网络的进展(jnzhn)l初创阶段(二十世纪四十年代至六十年代):l1943年,美国心理学家W.S.Mcculloch和数理逻辑学家 和数理逻辑学家W.Pitts 提出了神经元的数学模型,即MP(Mcculloch-Pitts)模型l以数学逻辑为研究手段,探讨了客观(kgun)事件在神经网络的形式问题l1960年,威德罗和霍夫率先把神经网络用于自动控制研究。l过渡阶段(二十世纪六十年代初至七十年代)lM.Minsky和S.Papert于1969 年出版Perceptron Perceptronl
2、从理论上证明了以单层感知机为代表的网络系统在某些能力方面的局限性。l 60年代末期至 80年代中期,神经网络控制与神经网络进入低潮第二页,共八十七页。3/65人工神经网络的进展(jnzhn)(续)l高潮阶段(二十世纪八十年代)l1982和1984年,美国加州理工学院的生物物理学J.J.Hopfield在美国科学院院刊发表的两 篇文章,有力地推动了人工神经网络的研究与应用,并引发了研究神经网络的一次热潮。l80年代后期以来,随着人工神经网络研究的复苏和发展,对神经网络控制(kngzh)的研究也十分活跃。研究进展主要在神经网络自适应控制(kngzh)和模糊神经网络控制(kngzh)及其在机器人控制
3、(kngzh)中的应用上。l平稳发展阶段(二十世纪九十年代以后)l和相关学科交叉融合第三页,共八十七页。4/65 ANN 人工神经网络人工神经网络l概述(i sh)l基本原理l前向型神经网络l自组织竞争神经网络l神经网络的应用l与人工智能原理的结合lBP神经网络第四页,共八十七页。5/65概述概述(i sh)l什么叫人工神经网络l采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。l为什么要研究神经网络l用计算机代替人的脑力劳动。l计算机速度为纳秒级,人脑细胞反应时间是毫秒级。而计算机不如人。l长期以来人类的梦想,机器既能超越人的计算能力,又有类似(li s)于人的识别、分析、联想等能力
4、。第五页,共八十七页。6/65概述概述(i sh)l人工智能与神经网络l共同之处:研究怎样使用计算机来模仿人脑工作过程,学习实践再学习再实践。l不同之处:l人工智能研究人脑的推理、学习、思考、规划等思维活动,解决(jiju)需人类专家才能处理的复杂问题。l神经网络企图阐明人脑结构及其功能,以及一些相关学习、联想记忆的基本规则(联想、概括、并行搜索、学习和灵活性)第六页,共八十七页。7/65l例如:l人工智能专家系统是制造一个专家,几十年难以培养的专家。神经网络是制造一个婴儿,一个幼儿,一个可以学习,不断完善,从一些(yxi)自然知识中汲取智慧的生命成长过程。l同样是模仿人脑,但所考虑的角度不同
5、。l成年人和婴儿l学习过程不一样第七页,共八十七页。8/65概述概述(i sh)第八页,共八十七页。9/65 ANN 人工神经网络人工神经网络l概述l基本原理l前向型神经网络l自组织竞争神经网络l神经网络的应用l与人工智能(rn n zh nn)原理的结合lBP神经网络第九页,共八十七页。1065基本原理基本原理第十页,共八十七页。1165第十一页,共八十七页。1265第十二页,共八十七页。1365生物生物(shngw)神经元神经元第十三页,共八十七页。l神神经元由元由细细胞体、胞体、胞体、胞体、树树突突突突和和轴轴突突突突组成。成。细胞体是神胞体是神经元的主体元的主体,它由它由细胞核、胞核、
6、细胞胞质和和细胞膜三部分构成胞膜三部分构成.从从细胞体向外延伸出胞体向外延伸出许多突起多突起,其中大部分突起其中大部分突起呈呈树状状,称称为树突突.树突起感受作用突起感受作用,接受来自其他神接受来自其他神经元的元的传递信号信号.l由由细胞体伸出的一条最胞体伸出的一条最长的突起的突起,用来用来传出出细胞体胞体产生生(chnshng)(chnshng)的的输出出信号信号,称之称之为轴突突;轴突末端形成突末端形成许多多细的分枝的分枝,叫做叫做神神经末梢末梢;每一条神每一条神经末末梢可以与其他神梢可以与其他神经元形成功能性接触元形成功能性接触,该接触部位称接触部位称为突触突触。所。所谓功能性接功能性接
7、触触是指非永久性接触是指非永久性接触,它是神它是神经元之元之间信息信息传递的奥秘之的奥秘之处。1465第十四页,共八十七页。l一个神一个神经元把来自不同元把来自不同树突的突的兴奋性或抑制性性或抑制性输入信号入信号(突触后突触后膜膜电位位)累加求和累加求和的的过程,称程,称为整合。考整合。考虑(kol)(kol)到到输入信号的影响入信号的影响要持要持续一段一段时间(毫秒毫秒级),),因此因此,神神经元的整合功能是一种元的整合功能是一种时空整合。空整合。当神当神经元的元的时空整合空整合产生的膜生的膜电位超位超过阈值电位位时,神神经元元处于于兴奋状状态,产生生兴奋性性电脉冲脉冲,并并经轴突突输出出;
8、否否则,无无电脉冲脉冲产生生,处于于抑制状抑制状态。1565第十五页,共八十七页。1665图图2 一种一种(y zhn)简化神经元结构简化神经元结构 第十六页,共八十七页。1765人工人工(rngng)神经元模型神经元模型l每一个细胞处于两种状态。l突触联接有强度。l多输入单输出。l实质上传播的是脉冲信号,信号的强弱(qin ru)与脉冲频率成正比。图3 人工(rngng)神经元的结构模型第十七页,共八十七页。l一般(ybn)地,人工神经元的结构模型如图3所示。l它是一个多输入单输出的非线性阈值器件。其中 x1,x2,xn表示神经元的n个输入信号量;l w1,w2,wn表示对应输入的权值,它表
9、示各信号源神经元与该神经元的连接强度;l U表示神经元的输入总和,它相应于生物神经细胞的膜电位,称为激活函数;y为神经元的输出;表示神经元的阈值。1865第十八页,共八十七页。1965于是于是(ysh),人工神经元的输入输出关系可描述为:,人工神经元的输入输出关系可描述为:函函数数y=f(U)称称为为特特性性函函数数(亦亦称称作作用用、传传递递、激激活活(j(j hu)hu)、活活化化、转移函数转移函数)。特性函数可以看作是神经元的数学模型。特性函数可以看作是神经元的数学模型。第十九页,共八十七页。2065 1.阈值阈值(y zh)型型 2.S型型 这类函数这类函数(hnsh)的输入输出特性多
10、采用指数、对数的输入输出特性多采用指数、对数或双曲正切等或双曲正切等S型函数型函数(hnsh)表示。例如表示。例如 S型特性型特性(txng)函数反映了神经元的非线性输出特性函数反映了神经元的非线性输出特性(txng)。常见的特性函数有以下几种常见的特性函数有以下几种:第二十页,共八十七页。2165 3.3.分段线性型分段线性型神经元的输入输出特性满足一定神经元的输入输出特性满足一定(ydng)(ydng)的区间线性关系的区间线性关系,其特性函数表达为其特性函数表达为 式中,式中,K、Ak均表示均表示(biosh)常量。常量。第二十一页,共八十七页。2265人工人工(rngng)神经元模型神经
11、元模型l以上三种特性(txng)函数的图像依次如下图中的(a)、(b)、(c)所示l神经细胞的输出对输入的反映。l典型的特性函数是非线性的。第二十二页,共八十七页。2365基本原理基本原理网络结构网络结构l人脑神经网络:l人脑中约有亿个神经细胞l根据Stubbz的估计这些细胞被安排在约个主要模块内,每个模块上有上百个神经网络,每个网络约有万个神经细胞。l 如果将多个神经元按某种的拓扑结构(jigu)连接起来,就构成了神经网络。根根据据连接接的的拓拓扑扑结构构不不同同,神神经网网络可可分分为四四大大类:分分分分层层前前前前向向向向网网网网络络、反反馈前前向向网网络、互互连前前向向网网络、广广泛泛
12、互互连网网络。第二十三页,共八十七页。2465基本原理基本原理网络网络(wnglu)模型模型l分分层前向网前向网络:每层只与前层相联接 网络由若干层神经元组成,一般有输入层、中间层(又称隐层,可有一层或多层)和输出层,各层顺序连接;且信息严格地按照从输入层进,经过中间层,从输出层出的方向(fngxing)流动。第二十四页,共八十七页。2565基本原理基本原理网络网络(wnglu)模型模型l反反馈前向网前向网络:输出层上存在一个反馈回路,将信号反馈到输入(shr)层。而网络本身还是前向型的。反馈的结果形成封闭环路,具有反馈的单元称为隐单元,其输出称为内部输出。第二十五页,共八十七页。2665基本
13、原理基本原理网络网络(wnglu)模型模型l互互连前向网前向网络:外部看还是一个前向网络,内部有很多自组织网络在层内互连着。同一层内单元的相互连接使它们之间有彼此牵制(qinzh)作用。第二十六页,共八十七页。2765基本原理基本原理网络网络(wnglu)模型模型l广泛互广泛互连网网络(wnglu)(wnglu):所有计算单元之间都有连接,即网络中任意两个神经元之间都可以或可能是可达的。如:Hopfield网络、波尔茨曼机模型l反反馈型局部型局部连接网接网络:特例,每个神经元的输出只与其周围的神经元相连,形成反馈网络。第二十七页,共八十七页。2865基本原理基本原理 网络网络(wnglu)分类
14、分类l分类l前向型(前馈型);l反馈型;l自组织竞争(jngzhng);l随机网络l其它第二十八页,共八十七页。具体来讲,神经网络至少可以实现如下功能:l数学上的映射(yngsh)逼近。通过一组映射样本(x1,y1)(x2,y2),(xn,yn),网络以自组织方式寻找输入与输出之间的映射关系:yi=f(xi)。l数据聚类、压缩。通过自组织方式对所选输入模式聚类。l联想记忆。实现模式完善、恢复,相关模式的相互回忆等。l优化计算和组合优化问题求解。利用神经网络的渐进稳定态,特别是反馈网络的稳定平衡态,进行优化计算或求解组合优化问题的近似最优解。2965第二十九页,共八十七页。l模式分类。现有的大多
15、数神经网络模型都有这种分类能力。l概率密度函数的估计。根据给定(i dn)的概率密度函数,通过自组织网络来响应在空间Rn中服从这一概率分布的一组向量样本X1,X2,Xk。3065第三十页,共八十七页。3165基本原理基本原理基本基本(jbn)属性属性l基本(jbn)属性:l非线性:l自然界的普遍特性l大脑的智慧就是一种非线性现象l人工神经元处于激活或抑制两种不同的状态,在数学上表现为一种非线性。l非局域性:l一个神经网络通常由多个神经元广泛连接而成l一个系统的整体行为不仅取决于单个神经元的特征,而且可能主要由单元之间的相互作用、相互连接所决定l通过单元之间的大量连接模拟大脑的非局域性l联想记忆
16、是非局域性的典型例子。第三十一页,共八十七页。3265基本原理基本原理 基本基本(jbn)属性属性l非定常性l人工神经网络具有自适应、自组织、自学习能力l神经网络不但处理的信息有各种各样,而且在处理信息的同时,非线性动力系统本身也在不断变化l经常采用迭代(di di)过程描写动力系统的演化过程。l非凸性:系统演化的多样性l一个系统的演化方向,在一定条件下,将取决于某个特定的状态函数,如能量函数,它的极值相应于系统比较稳定的状态l非凸性是指这种函数有多个极值,故系统具有多个较稳定的平衡态,这将导致系统演化的多样性。第三十二页,共八十七页。3365基本原理基本原理优缺点优缺点l评价l优点(yudi
17、n):并行性;分布存储;容错性;学习能力 l缺点:不适合高精度计算;学习问题没有根本解决,慢;目前没有完整的设计方法,经验参数太多。第三十三页,共八十七页。神经网络学习神经网络学习(xux)(xux)l学学习(亦亦称称训练)是是神神经网网络的的最最重重要要特特征征之之一一。神神经网网络能能够通通过学学习,改改变其内部状其内部状态,使使输入入输出呈出呈现出某种出某种规律性。律性。l网网络学学习一一般般是是利利用用一一组称称为样本本的的数数据据,作作为网网络的的输入入(和和输出出),),网网络按按照照一一定定的的训练规则(又又称称学学习规则或或学学习算算法法)自自动调节神神经元元之之间的的连接接强
18、度度或或拓拓扑扑结构构,当当网网络的的实际(shj)(shj)输出出满足足期望的要求期望的要求,或者或者趋于于稳定定时,则认为学学习成功。成功。3465第三十四页,共八十七页。神经网络学习神经网络学习(xux)(xux)1.1.1.1.学学学学习规则习规则 权值修正学派修正学派(xupi)(xupi)认为:神:神经网网络的学的学习过程就是不断程就是不断调整网整网络的的连接接权值,以,以获得期望的得期望的输出的出的过程。所以,学程。所以,学习规则就是就是权值修正修正规则。2.2.2.2.学学学学习习方法分方法分方法分方法分类类 从不同角度考从不同角度考虑,神,神经网网络的学的学习方法有不同的分方
19、法有不同的分类。表。表9.19.1列出了常列出了常见的几种分的几种分类情况。情况。3565第三十五页,共八十七页。神经网络学习神经网络学习(xux)(xux)3665表表1 1 神经网络学习方法的常见神经网络学习方法的常见(chn jin)(chn jin)分类分类 第三十六页,共八十七页。3765 ANN 人工神经网络人工神经网络l概述l基本原理l前向型神经网络lBP神经网络l自组织竞争神经网络l神经网络的应用(yngyng)l与人工智能原理的结合第三十七页,共八十七页。3865前向型神经网络前向型神经网络l概述l最初称之为感知器。应用最广泛的一种人工神经网络模型,最要原因是有BP学习方法。
20、l前向网络结构是分层的,信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接l特性函数可以(ky)是线性阈值的。第三十八页,共八十七页。3965前向型神经网络前向型神经网络l单层感知器第三十九页,共八十七页。4065前向型神经网络前向型神经网络l基本原理和结构极其简单l在实际应用中很少出现l采用阶跃函数作为特性函数l维空间可以明显表现(bioxin)其分类功能,但Minsky等揭示的致命弱点也一目了然。l关键是学习算法及网络设计方法l输出yi等于:(1)其中第四十页,共八十七页。4165前向型神经网络前向型神经网络单层感知器单层感知器l分类方法:l如果输入x有k个样本(yn
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 医学 专题 人工 神经网络
![提示](https://www.deliwenku.com/images/bang_tan.gif)
限制150内