第四章新优秀课件.ppt

第四章新第1页，本讲稿共43页*2第四章第四章 自组织神经网络自组织神经网络自组织学习自组织学习(self-organized learning)：通过自动寻找样本中的内在规律和本质属性，通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织、自适应地改变网络参数与结构。自组织网络的自组织功能是通过竞争学自组织网络的自组织功能是通过竞争学习（习（competitive learning）实现的。）实现的。第2页，本讲稿共43页*34.1 竞争学习的概念与原理竞争学习的概念与原理w4.1.1 基本概念基本概念w分类分类分类是在类别知识等导师信号的指导下，分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。将待识别的输入模式分配到各自的模式类中去。w聚类聚类无导师指导的分类称为聚类，聚类的目无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的的是将相似的模式样本划归一类，而将不相似的分离开分离开。第3页，本讲稿共43页*4 相似性测量相似性测量欧式距离法欧式距离法4.1.1 基本概念基本概念同一类内各个模式向量间的欧式距离不同一类内各个模式向量间的欧式距离不允许超过某一最大值允许超过某一最大值第4页，本讲稿共43页*5w 相似性测量相似性测量余弦法余弦法4.1.1 基本概念基本概念余弦法适合模式向量相同或模式特征余弦法适合模式向量相同或模式特征只与向量方向相关的相似性测量只与向量方向相关的相似性测量同一类内同一类内各个模式各个模式向量间的向量间的夹角不允夹角不允许超过某许超过某一最大夹一最大夹角角T T第5页，本讲稿共43页*64.1.2 竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被激活或网络的输出神经元之间相互竞争以求被激活或点火，结果在每一时刻只有一个输出神经元被激活点火，结果在每一时刻只有一个输出神经元被激活或点火。这个被激活的神经元称为竞争获胜神经元，或点火。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为而其它神经元的状态被抑制，故称为Winner Take All。胜者为王第6页，本讲稿共43页*7竞争学习规则竞争学习规则Winner-Take-All1.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和和竞争层中各神经元对应的内星向量竞争层中各神经元对应的内星向量W Wj j 全部进全部进行归一化处理；行归一化处理；(j=1,2,(j=1,2,m),m)第7页，本讲稿共43页*8原始向量原始向量第8页，本讲稿共43页*9归一化后的向量归一化后的向量第9页，本讲稿共43页*10竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量时，竞争层当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。相似的内星权向量判为竞争获胜神经元。第10页，本讲稿共43页*11 从上式可以看出，欲使两单位向量的欧式距离最小，从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：须使两向量的点积最大。即：竞争学习规则竞争学习规则Winner-Take-All第11页，本讲稿共43页*12竞争学习规则竞争学习规则胜者为王胜者为王(Winner-Take-All)3.3.网络输出与权值调整网络输出与权值调整 j j j*j*步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率衰减到继续训练，直到学习率衰减到0 0。获胜神经元输出获胜神经元输出为为1 1，其余为，其余为0 0第12页，本讲稿共43页*13竞争学习的几何意义竞争学习的几何意义第13页，本讲稿共43页*14竞争学习的几何意义竞争学习的几何意义第14页，本讲稿共43页*15例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：第15页，本讲稿共43页*16第16页，本讲稿共43页*17第17页，本讲稿共43页*18第18页，本讲稿共43页*19第19页，本讲稿共43页*20第20页，本讲稿共43页*21第21页，本讲稿共43页*22第22页，本讲稿共43页*23第23页，本讲稿共43页*24第24页，本讲稿共43页*25第25页，本讲稿共43页*264.2 自组织特征映射网自组织特征映射网 （Self-Organizing feature MapSelf-Organizing feature Map）19811981年芬兰年芬兰HelsinkHelsink大学的大学的T.KohonenT.Kohonen教授提出一种自教授提出一种自组织特征映射网，简称组织特征映射网，简称SOMSOM网网，又称，又称KohonenKohonen网网。KohonenKohonen认为：一个神经网络接受外界输入模式时，将认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。据这一看法提出来的，其特点与人脑的自组织特性相类似。第26页，本讲稿共43页*27SOMSOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是元的组织原理是有序排列有序排列。因此当人脑通过感官接受外。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的界的特定时空信息时，大脑皮层的特定特定区域区域兴奋兴奋，而且类，而且类似的外界信息在对应区域是似的外界信息在对应区域是连续映象连续映象的。的。对于某一图形或某一频率的特定兴奋过程，神经元对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。射网中竞争机制的生物学基础。第27页，本讲稿共43页*28SOMSOM网的拓扑结构网的拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信息网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。的视网膜，输出层模拟做出响应的大脑皮层。第28页，本讲稿共43页*29SOMSOM网的权值调整域网的权值调整域 SOMSOM网的获胜神经元对其邻近神经元的影响网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：向量。这种调整可用三种函数表示：第29页，本讲稿共43页*30第30页，本讲稿共43页*31SOMSOM网的权值调整域网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为圈定的范围称为优胜邻域优胜邻域。在。在SOMSOM网学习算法中，优胜网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。加不断收缩，最终收缩到半径为零。第31页，本讲稿共43页*32SOMSOM网的运行原理网的运行原理w训练阶段训练阶段 w1 w2 w3 w4 w5第32页，本讲稿共43页*33SOM网的运行原理网的运行原理w工作阶段工作阶段第33页，本讲稿共43页*34SOMSOM网的学习算法网的学习算法Kohonen Kohonen 学习算法学习算法(1)初初始始化化 对对输输出出层层各各权权向向量量赋赋小小随随机机数数并并进进行行归归一一化化处处理理，得得到到 ，j=1,2,j=1,2,m m；建立初始优胜邻域；建立初始优胜邻域N Nj*j*(0)(0)；学习率；学习率 赋初始值。赋初始值。(2)接接受受输输入入 从从训训练练集集中中随随机机选选取取一一个个输输入入模模式式并并进进行行归归一一化化处处理理，得得到到 ，p p 1,2,1,2,P,P。(3)寻寻找找获获胜胜节节点点 计计算算 与与 的的点点积积，j=1,2,j=1,2,m m，从从中中选选出出点点积积最最大大的获胜节点的获胜节点j*j*。(4)定定义义优优胜胜邻邻域域N Nj*j*(t t)以以j j*为为中中心心确确定定t t 时时刻刻的的权权值值调调整整域域，一一般般初初始始邻邻域域N Nj*j*(0)(0)较大，训练过程中较大，训练过程中N Nj*j*(t t)随训练时间逐渐收缩。随训练时间逐渐收缩。第34页，本讲稿共43页*35KohonenKohonen学习算法学习算法SOM网的学习算法网的学习算法第35页，本讲稿共43页*36(5)调整权值调整权值 对优胜邻域对优胜邻域N Nj*j*(t t)内的所有节点调整权值：内的所有节点调整权值：i=1,2,i=1,2,n n j j N Nj*j*(t t)式式中中，是是训训练练时时间间t t 和和邻邻域域内内第第j j 个个神神经经元元与与获获胜胜神神经经元元 j*j*之间的拓扑距离之间的拓扑距离N N 的函数，该函数一般有以下规律：的函数，该函数一般有以下规律：KohonenKohonen学习算法学习算法SOM网的学习算法网的学习算法第36页，本讲稿共43页*37(5)调整权值调整权值(6)结束检查结束检查 学习率是否衰减到零或某个预定的正小数学习率是否衰减到零或某个预定的正小数？KohonenKohonen学习算法学习算法SOM网的学习算法网的学习算法第37页，本讲稿共43页*38K K o o h h o o n n e e n n学学习习算算法法程程序序流流程程第38页，本讲稿共43页*39功能分析功能分析(1)保序映射保序映射将输入空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。例例1 1：动物属性特征映射。：动物属性特征映射。第39页，本讲稿共43页*40功能分析功能分析第40页，本讲稿共43页*41(2)数据压缩数据压缩 将高维空间的样本在保持拓扑结构不变的条件下投影到低将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。维空间。(3)特征抽取特征抽取 高维空间的向量经过特征抽取后可以在低维特征空间高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。更加清晰地表达。例例2 2：SOMSOM网用于字符排序。网用于字符排序。功能分析功能分析第41页，本讲稿共43页*42第42页，本讲稿共43页第43页，本讲稿共43页