支持向量机在模式识别中的应用.pdf
《支持向量机在模式识别中的应用.pdf》由会员分享,可在线阅读,更多相关《支持向量机在模式识别中的应用.pdf(4页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、电讯技术 2006年第4期基金项目论文FOUNDATI ON SUPPORTED PROJECT文章编号:1001-893X(2006)04-0009-04支持向量机在模式识别中的应用3沈明华,肖 立,王飞行(国防科技大学 电子科学与工程学院,长沙410073)摘 要:针对传统神经网络存在网络结构难于确定、过学习以及局部极小等问题,研究了基于支持向量机(SVM)的模式识别问题。通过对棋盘这种典型非线性二值问题的分类研究,分析了支持向量机的分类与泛化能力,支持向量机在分类和泛化能力方面远远优于传统神经网络。最后将支持向量机用于对两类飞机目标的分类识别,通过多组蒙特卡罗试验,获得了较好的识别结果。
2、支持向量机在目标识别中有巨大潜力和广阔前景。关键词:模式识别;支持向量机;径向基函数;泛化能力;目标识别中图分类号:TN957.5 文献标识码:AApplication of Support VectorMachi ne(SV M)i n Pattern RecognitionSHEN M ing-hua,XIAO Li,WANG Fei-xing(School of Electronic Science and Engineering,NationalUniversityofDefence Technology,Changsha 410073,China)Abstract:Aiming at
3、 the problems such as difficult deter mination of net structure,over fitting and localminimization of traditional neural networks,the support vectormachine(SVM)applied to pattern recogni2tion is studied.By investigating the chessboard classification,which is typical of nonlinear two-valueproblem,the
4、 generalization ability of SVM is analyzed.SVM ismore powerful than traditional neural net2work in the aspect of classification and generalization.Finally two kinds of airplanes are recognized basedon SVM,with manyMonte-Carlo experiments good classification results are achieved.SVM has huge po2tenti
5、als and good prospect in the area of target recognition.Key words:pattern recognition;support vectormachine(SVM);range profiles;generalization ability;tar2get recognition1 引 言近年来,神经网络在模式识别、图像处理、函数逼近等方面得到广泛研究和应用,但是传统神经网络在实际应用中存在网络结构难于确定、过学习或欠学习以及局部极小等问题。20世纪90年代中期,Vapnik提出的支持向量机(SVM)以其结构简单、具有全局最优性和较好
6、的泛化能力等优点成为机器学习领域最有影响的成果之一1。支持向量机克服了传统神经网络的以上不足,在模式识别、图像处理、回归分析等方面得到了广泛应用。这一理论基础坚实、数学推导严密,在解决小样本、非线性以及高维模式识别问题中显示了无法比拟的优越性。针对模式识别问题,本文研究了支持向量机的分类性能和泛化能力,通过大量实验验证了支持向量机在模式识别中良好的分类和泛化能力。93收稿日期:2005-12-14;修回日期:2006-04-04基金项目:国家自然科学基金资助项目(60572138)电讯技术 2006年第4期基金项目论文FOUNDATI ON SUPPORTED PROJECT2 支持向量机基本
7、理论机器学习是人工智能重要的应用领域,现有机器学习方法的重要理论基础是统计学,传统统计学是研究样本数目趋于无穷大时的渐进理论,但在实际问题中,样本数目常常有限,甚至是小样本,因此基于大数定律的传统统计方法难以较好发挥作用,导致一些理论上优秀的学习方法在实际应用中不能达到理想效果。Vapnik等人提出的统计学习理论(SLT)是一种专门研究小样本的理论,避免了人工神经网络等方法的网络结构难于确定、过学习和欠学习以及局部极小等问题,被认为是目前针对小样本的分类、回归等问题的最佳理论2。SVM是通过样本在原空间或映射到高维特征空间中构造最优分类超平面,将给定的属于两个不同类别的样本分开,构造超平面的依
8、据是两类样本与超平面的距离最大化3,4。在线性可分的情况下,设样本集中所有向量xi(i=1,2,n)均满足yi(wxi)+b)1,由于支持向量之间的距离是2/w,求最大距离等价于求 w、w2或者 w2/2最小,构造最优超平面的问题转化为:(1)(w)=w2/2最小;(2)yi(wxi)+b)1是其约束条件。为求解上式,引入Lagrange函数:L(w,b,)=12w2-ni=1i yi(wxi)+b-1(1)其中,i0是Lagrange系数,这个优化问题的解是由Lagrange泛函鞍点给出,为此将Lagrange函数分别对w和b求偏微分并令它们等于0,可得到问题的约束条件和对偶形式:ni=1y
9、ii=0,i0,i=1,2,n(2)Q()=ni=1i-12ni,j=1ijyiyj(xixj)(3)这是一个受不等式约束的凸二次优化问题,存在唯一解,其中w=nj=1yiixi。根据KKT补充条件,这个优化问题的解必须满足:i yi(wx)+b-1=0(4)因此在所有 i中,只有一部分(通常很少一部分)不为零,这些样本被称为支持向量,对应于满足yi(wx)+b=1的点,也就是距最优分类超平面最近的点,对应图1中的x1、x2、x3。图1 最优划分超平面示意图 训练集的最优分类判别函数可以表示为f(x)=signmi=1yii(xxi)-b(5)当样本线性不可分的情况下,通过引入非负松弛变量i,
10、公式(1)、(2)中的条件转化为(w)=w2/2+Cli=1iyi(wxi)+b)1-i(6)相应的对偶优化中的约束条件(式(2)变为C i0,其它关系不变化。这里C表示惩罚因子,可以调整泛化能力与错分误差,用来实现分类间隔与错分误差之间的折衷。b=yi-wxiiSV,i=1,m,m代表支持向量个数。关于分类阈值b的求法一种方法为b=12(wx3(1)+(wx3(-1)(7)其中x3(1)表示属于第一个类别的任意一个支持向量,x3(-1)表示属于第二个类别的任意一个支持向量。另外一种求法比上面方法更加可靠,但计算量略有增加:b=1mmi=1yi-mj=1jyj(xjxi)(8)通常训练数据集中
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 支持 向量 模式识别 中的 应用
限制150内