基于神经网络的人脸识别算法研究

基于神经网络的人脸识别算法研究

姓名：袁崇涛申请学位级别：硕士专业：信号与信息处理指导教师：郭成安

20061219

大连理工大学硕士学位论文摘要人脸识别技术作为图像处理和模式识别的最重要的应用之一，正逐渐成为热门的研究课题．它在公安，银行及海关等机要部门有着广泛的应用前景。人脸识别问题涵盖了图像处理、模式识别和计算机视觉等多个领域，它主要有两个部分：特征提取和模式识别部分。特征提取识从人脸图像中提取可以用来分类的信息；而模式识别部分是利用提取的特征进行模式分类。对于特征提取部分，本文中采用的是基于统计的特征，分别是基于ＫＬ变换（ＫＬａＯ或主成分分析（ＰＥＡ）的特征脸方法和基于线性判别分析（ＬＤＡ）的Ｆｉｓｈｅｒ脸方法。对于模式识别部分，首先采用了纠错支持向量机（ＳＶＭ）方法和超椭球神经网络方法，其中纠错ＳＶＭ方法有着较高的正确识别率；而超椭球神经网络方法是仿生（拓扑）模式识别理论的一个应用形式，它对未训练样本有着较低的错误接受率。基于以上两点，本文提出了一种二次分类方法。它将基于仿生模式识别理论的超椭球神经网络方法与具有纠错能力的ＳＶＭ方法结合起来，首先使用超椭球神经网络进行第一次分类得到中间结果，将全体训练样本和中间结果放入具有纠错能力的ＳＶＭ中进行二次分类。这种方法兼具仿生模式识别和纠错ＳＶＭ的优点，并可以克服对未训练样本的误识率高的问题，同时也具备纠错ＳＶＭ方法的纠错能力，因而具有比以上两者更好的分类效果。在ＣａｍｂｒｉｄｇｅＯＲＬ人脸库的仿真实验结果表明，以Ｆｉｓｈｅｒ脸特征为输入矢量，应用二次分类方法进行图像识别，正确识别率达到了９９．２５％。关键词：纠错ｓ州；超椭球神经网络；二次分类方法大连理１：大学硕士学位论文ＲｅｓｅａｒｃｈｏｎＡｌｇｏｒｉｔｈｍｓｏｆＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＢａｓｅｄＮｅｕｒａｌＮｅｔｗｏｒｋｏｎＡｂｓｔｒａｃｔＡｓｏｎｅｏｆｔｈｅｍｏｓｔｉｍｐｏｒｔａｎｔａｐｐｌｉｃａｔｉｏｎｓｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｐａＲｅｍｒｅｃｏｇｎｉｔｉｏｎ，ｒｅｓｅａｒｃｈｉｎｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｈａｖｅｂｅｅｎｉｎｃｒｅａｓｅｄｓｉｇｎｉｆｉｃａｎｔｌｙａｒｅｉｎｍａｎｙｆｉｅｌｄｓ．Ｍａｎｙｓｕｂｊｅｃｔｓｓｕｃｈａｓｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ，ｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｒｅｉｎｃｌｕｄｅｄｉｎｔｈｅｐｒｏｂｌｅｍｓｏｆｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅｒｅｔｗｏｐａｒｔｓｏｆｔｈｅｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｔｏｅｘｔｒａｃｔｕｓｅｆｕｌｓｙｓｔｅｍ：ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎａｎｄｐａｔｔｅｍｉｎｆｏｒｍａｔｉｏｎｆｏｒｃｌａｓｓｉｆｉｃａｔｉｏｎｆｒｏｍｆｅａｔｕｒｅｓｔｈａｔｅｘｔｒａｃｔｅｄ．ｒｅｃｏｇｎｉｔｉｏｎ．Ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｉｓｆａｃｅｉｍａｇｅｓ；ｗｈｉｌｅｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎｕｓｅｄＫＬｉｓｔｏｃｌａｓｓｉｆｙｔｈｅＦｏｒｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｐａｒｔ，ｔｈｅｍｅｔｈｏｄｆｅａｔｕｒｅｓ．ＴｈｅｙａｒｅｉｎｔｈｉｓｔｈｅｓｉｓｉｓｂａｓｅｄｏｎｓｔａｔｉｓｔｉｃａｌｅｉｇｅｎｆａｃｅｍｅｔｈｏｄｂａｓｅｄＦｉｓｈｅｒｆａｃｅｍｅｔｈｏｄｂａｓｅｄｏｎＴｒａｎｓｆｏＨｎｔｈｅｏｒＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ（ＰＣＡ）ａｎｄｏｎＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔＡｎａｌｙｓｉｓ（ＬＤＡ）．ａｒｅＦｏｒｔｈｅｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎｐａｒｔ．ｔｈｅｍｅｔｈｏｄｓｕｓｅｄａｎｄｔｈｅＨｙｐｅｒ－ＥｌｌｉｐｓｏｉｄＮｅｕｒａｌｈａｓａＳＶＭ’ＳｗｉｔｈｗｉｔＩｌｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎＮｅｔｗｏｒｋ（ＨＥＮＮ）．ＴｈｅＳＶＭ’Ｓｒｅｃｏｇｎｉｔｉｏｎｔｈｅｏｒｙ，ｗｈｉｃｈｈａｓｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎｍｅｔｈｏｄｈｉｇｈｃｏｒｒｅｃｔｒｅｃｏｇｎｉｔｉｏｎｒａｔｅ；ｗｈｉｌｅｔｈｅＨＥＮＮｍｅｔｈｏｄｉｓａｏｎｅｏｆｔｈｅａｐｐｌｉｃａｔｉｏｎｓｏｆｂｉｏｍｉｍｅｔｉｃ（ｔｏｐｏｌｏｇｉｃａｌ）ｐａｔｔｅｒｎｒａｔｅ．Ｂａｓｅｄｍｅｔｈｏｄ．ｏｎｅｖｅｒｙｌｏｗｆａｌｓｅｒｅｃｏｇｎｉｔｉｏｎａｔｈｅｔｗｏｐｏｉｎｔｓｍｅｎｔｉｏｎｅｄａｂｏｖｅ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓｔｗｏ－ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎＩｔｃｏｍｂｉｎｅｓｔｈｅＨＥＮＮｍｅｔｈｏｄｂａｓｅｄｔｈｅＳＶＭｍｅｔｈｏｄｗｉｔ｝ｌｇｅｔｔｈｅｉｎｔｅｒｍｅｄｉａｔｅｉｎｔｅｒｍｅｄｉａｔｅｒｅｓｕｌｔｅｒｒｏｒｏｎｔｈｅｂｉｏｍｉｍｅｔｉｃｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎｔｈｅｏｒｙａｎｄｃｏｒｒｅｃｔｉｏｎａｂｉｌｉｔｙ．ＴｈｅＨＥＮＮｉｓｕｓｅｄｆｏｒｔｈｅｆｉｒｓｔｃｌａｓｓｉｆｉｃａｔｉｏｎｔｏｔｈｅＳＶＭｗｉｔｈｅｒｒｏｒｒｅｓｕｌｔ，ａｎｄｃｏｒｒｅｃｔｉｏｎｍｅｔｈｏｄｉｓｕｓｅｄｔｏｓｏｌｖｅｔｈｅｓｅｃｏｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＩｔｈａｓｔｈｅａｎｄａｌｌｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅｓｆｏｒｔｈｅａｄｖａｎｔａｇｅｓｏｆｂｏｔｈｂｉｏｍｉｍｅｔｉｃｐａｔｔｅｒｎｒｅｃｏｇｎＲｉｏｎｔｈａｔｉｔｍｅｔｈｏｄａｎｄｔｈｅＳＶＭｍｅｔｈｏｄｗｉ也ｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎａｂｉｌｉｔｙ，ｔｈｅｆｉｒｓｔｉｓＣａｎａｖｏｉｄｔｈｅｈｉｇｈｆａｌｓｅｒｅｃｏｇｎｉｔｉｏｎｒａｔｅ，ａｎｄｔｈｅｓｅｃｏｎｄｉｓｔｈａｔｉＳｈａｓｔｈｅｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎａｂｉｌｉｔｙ．ＳＯｉｔｏｕｔｐｅｒｆｏｒｍｓｅｉｔｈｅｒｏｆｔｈｅｔｗｏｍｅｔｈｏｄｓ．ＳｉｍｕｌｉｎｋｅｘｐｅｒｉｍｅｎｔｓｏｎＣａｍｂｒｉｄｇｅ０ＲＬｄａｔａｂａｓｅｓｈｏｗｓｔｈａｔｗｉｔｈｔｈｅＦｉｓｈｅｒｆａｃｅｆｅａｔｕｒｅｓｔｈｅｔｗｏ－ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄ，ｔｈｅｃｏｒｒｅｃｔｒｅｃｏｇｎｉｔｉｏｎｒａｔｅｈａｓｒｅａｃｈｅｄ９９．２５％ｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ．ＫｅｙＷｏｒｄｓ：。ＳＶＭ’Ｓｗｉｔｈｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎ；Ｈｙｐｅｒ－ＥｌｌｉｐｓｏｉｄＮｅｕｒａｌＮｅｔｗｏｒｋ；Ｔｗｏ－ｐａｓｓＣｌａｓｓｉｆｉｃａｔｉｏｎＭｅｔｈｏｄ独创性说明作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。作者签名：重掌夤日期：兰堑／口大连理工大学硕士研究生学位论文大连理工大学学位论文版权使用授权书本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名袁襞有导师签名：奶水移矽，／年，ｚ月／Ｄ日大连理工大学硕士学位论文１绪论１．１研究背景及意义在现代社会中，身份鉴定技术具有非常重要的应用价值。随着网络技术的发展，信息安全也显示出前所未有的重要性，对个人身份鉴别的需求可以说无处不在。如某人是否有权进入安全区域（安全系统），是否有权进行特定交易，是否是本国居民等等，都需要精确的身份鉴定“一．当前，用于个人身份鉴别主要依靠Ｄ卡（如身份证、工作证和储蓄卡等）和密码等手段，然而这些手段存在携带不便、容易遗失、或者由于使用过多或不当而损坏、不可读和密码易被破解等诸多问题，犯罪分子伪造假证件的手段也越来越高明。因此，目前广泛使用的依靠证件、个入识别号码（ＰＩＮ－ＰｅｒｓｏｎａｌＩｄｅｎｔｉｆｉｃａｔｉｏｎＮｕｍｂｅｒ）、口令或钥匙等传统方法来确认个人身份的技术面临着严峻的挑战，并显得越来越不适应现代科技的发展和社会的进步，人们希望有一种更加可靠的办法来进行身份鉴定。生物识别技术提供了一种基于惟一的、高可靠性和稳定性的人体生物特征的新的身份鉴别途径，基于人体生物特征识别技术的个人身份鉴别系统，由于使用了人体本身所固有的生物特征，如指纹、虹膜、掌纹、人脸等的特征，因此具有更好的安全性、可靠性和有效性。相对于其他生物特征识别技术，人脸识别技术具有特征录入较为方便、信息丰富、适用范围广等优点．另外，人脸识别的研究还涉及图像分析与处理、模式识别、人工智能、计算机视觉、心理学、生理学等多个学科领域，更是模式识别、人工智能和计算机视觉的典型案例之一。对这一问题的研究和解决，有助于对其他对象识别问题的研究分析和解决，人脸识别也因此成为这些基础研究领域的重要课题之一，具有重要的理论研究价值和广阔的应用前景“１。虽然人脸识别有着广泛的应用前景，但是人脸识别技术的研究仍存在着很多的困难。其中来源于人脸自身的变化和成像条件的影响对人脸的识别造成了非常大的麻烦。人脸自身的变化：人脸是一个弹性体，人脸的表情变化对图像有非常大的影响；人脸可以随时问变化，比如人脸的胖瘦，人脸的脸色，化妆，甚至是整容，另外人脸随年龄的变化也是一个不得不考虑的问题。成像条件的影响；成像时的光照条件，光照角度：成像时的镜头角度，镜头距离；成像时人的头部旋转角度等等。人脸识别还涉及到了数字图像处理，模式识别，计算机视觉，神经网络等众多学科．所有这些都给计算机人脸识别技术带来了非常大的挑战。基于神经网络的人脸识别算法研究１．２人脸识别技术的发展及研究现状早在上世纪六、七十年代，人脸识别技术就引起了研究者的浓厚兴趣；进入九十年代之后，由于高速度高性能的计算机的出现，人脸识别技术取得了重大进展。而自美国发生“９．１ｌ”事件以后，人脸识别在信息安全领域的作用逐渐显现出来，人脸识别技术得到了前所未有的重视嘲。国内外对于人脸识别的研究发展，技术趋势分别经历了三个阶段０１：机械式的识别阶段、机器自动识别初级阶段、机器自动识别高级阶段。第一阶段为机械式的识别阶段，是以Ｂｅｒｔｉｌｌｏｎ，Ａｌｌｅｎ和Ｐａｒｋｅ为代表，主要研究人脸识别所需要的面部特征。该阶段的识别依赖于人的操作，需要利用操作员的某些先验知识来进行。在ＢｅｒｔｉｌＩｏｎ的系统中，用一个简单的语句与数据库中某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识别系统；为了提高识别率，Ａｌｌｅｎ“”为待识别脸设计了一种有效和逼真的摹写；Ｐａｒｋｅ“２１则用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，显然这不是一种可以完成自动识别的系统。第二阶段为人机交互式初级阶段，主要是采用机器自动识别的手段进行识别。代表性工作有：Ｇｏｌｄｓｔｉｏｎ，Ｈａｒｍｏｎ和Ｌｅｓｋ用几何特征参数来表示人脸正面图像Ⅲ，他们采用２ｌ维特征向量表示人脸面部特征，并设计了基于这一特征表示法的识别系统；Ｋａｙａ和离，嘴唇的高度等；更进一步地，Ｔ．Ｋａｍｄ（Ｍ．Ｎａｇａｏ）０１设计了一个高速且有一定知识导引的半自动回溯识别系统，创造性地运用积分投影法从单幅图像上计算出一组脸部特征是一个很大的进步。这个阶段需要利用操作员的某些先验知识，仍然摆脱不了人的干预。第三阶段为机器自动识别高级阶段，是真正向实用化发展的机器识别阶段，这一阶发展，人们己提出了许多成熟、高效的方法，很多产品已用于实际应用。目前世界上的商用识别系统主要有Ｉｄｅｎｔｉｘ（原Ｖｉｓｉｏｎｉｃｓ）公司的“ＦａｃｅＩｔ”系统，Ｖｉｉｓａｇｅ公司的“ＦａｃｅｌＤ”系统，Ｃｏｇｎｉｔｅｃ公司的“ＦａｅｅＶＡＣＳ”系统以及ＨｕｍａｎＳｃａｎ公司的“ＢｉｏＩＤ”系统等。１．３人脸识别方法综述一个完整的人脸识别系统的组成如下图所示：２Ｋｏｂａｙａｓｈｉ则采用了统计识别方法，用欧氏距离来表征人脸特征，如嘴唇与鼻之间的距参数，再利用模式分类技术与标准人脸相匹配，Ｋａｎａｄ的系统实现了快速、实时的处理，段识别率和自动化程度得到了提高。随着计算机的大型化、高速化和人脸识别的方法的大连理工大学硕士学位论文黼刮人戮测吲嬲吲絮吲训练像库图像——１与定位广—１预处理广—１与选择广—１图１．１人脸识别系统的框图Ｆｉｇ．１．１Ｔｈｅｃｏｍｐｏｎｅｒａｓｏｆｔｈｅｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｓｙｓｔｅｍ…’”一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一汤涵Ｉ－一丁『如图１．１所示，一个完整的人脸识别系统由下列部分组成：（１）图像的获取：从外界获取作为人脸识别系统输入的人脸图像，本文所用图像为ＣａｍｂｒｉｄｇｅＯＲＬ人脸库图像；（２）人脸的检测与定位：判断图像中是否存在人脸，如果有则找到其所在位置，并将其从背景图像中分离出来。本文所采用的人脸图像均为经过检测与分离后的人脸图像，因此本文并不涉及此内容；蒲（３）ｌｉｆｔ像预处理：对图像进行平滑、去噪、归一化等处理，减少光照、成像条件、外部环境等意外因素对图像的干扰，为后续工作提供高质量的图像，本文所进行的研究并未对图像进行预处理；（４）特征的提取和选择：它的目的有两个，一是减少图像的计算和存储，一幅９２ｘ１１２的人脸灰度图像，共有１０３０４个数据元素，直接存储会占有大量空间，而经过特征提取和选择后，存储量仅为直接存储的几百分之一左右；二是原始图像中的部分象素信息对于人脸分类并没有太大贡献，经过特征提取和选择后的人脸特征信息可以提高分类速度和识别率，因此本过程是人脸识别系统的关键。（５）ｊ／ｔｌ练：即分类器的设计，经过训练得到分类器的参数，从而得到分类器。（６）识别：利用训练得到的分类器进行人脸识别，得到识别结果。本文主要研究的是人脸识别系统中的特征提取与选择及分类器的训练与识别部分。人脸识别经过多年的发展已得出很多有效的特征提取与识别的方法。现讨论几种常见的方法：（１）主特征分析（ＰＣＡ）方法““”。最典型的特征提取方法之一。为了有效的提取人脸图像特征，人们用ＫＬ变换进行统计特征提取。ＫＬ变换是图像压缩中的一种最优正交变换，同时也是子空间法模式识别的基础。将ＰＣＡ方法用于人脸识别，其实是假设所有的人脸都处于一个低维线性空间，而且不同的人脸在这个空间中具有可分性。由于高维图像空间经过ＫＬ变换后可得到一组新的正交基，对这些正交基作一定的取舍，保留其中基于神经网络的人脸识别算法研究的能量最大一部分生成低维的人脸空问，即人脸的特征子空间．将人脸图像向这个子空间上投影，可以得到一组特征系数，以此作为人脸识别的特征向量，作为分类器的输入。（２）Ｆｉｓｈｅｒ脸方法“‘”“。ＫＬ变换只是一种数据处理方法，它具有最佳的图像表示能力，但并不意味着它具有最佳识别能力。Ｆｉｓｈｅｒ线性判别旨在求出一个最佳鉴别向量，将原来高维的模式样本投影到最佳鉴别向量空间以达到减小特征空间维数的目的。Ｆｉｓｈｅｒ最佳鉴别向量方法的目的是使投影后的模式样本空间类问散布矩阵最大而类内散布矩阵最小，也就是保证了投影后的模式样本在新的子空间有最大的类间距离与类内距离之比，从而使各模式在该空间有最佳的可分性。（３）基于神经网络的方法咖。这是近些年来比较活跃的一个研究方向，它既可以用于特征提取，也可以用于模式识别。神经网络方法在人脸识别上比其它类别的方法有独到的优势，它具有良好的自学习、自适应能力，特别是它的自学习能力在模式识别方面表现尤为突出汹１。神经网络方法可以通过学习的过程获得其它方法难以实现的关于人脸识别规律和规则的隐性表达。但该方法可能存在训练时间长、收敛速度慢的缺点。（４）基于支持向量机（Ｓｖ￣Ｄ的方法吼矧。近年来提出的一种分类方法，该方法的理论基础是神经网络。支持向量机方法是建立在统计学习理论的ＶＣ维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂度和学习能力之间寻求最佳折衷，以期获得最好的推广能力。从理论上说，该算法得到的是全局最优解，解决了神经网络方法中的局部极值问题。此外，该算法将实际问题通过非线性变换转换到高维特征空间，在高维特征空间构造线性判别函数来实现原空间中的非线性判别函数，同时它解决了维数问题，其算法复杂度与样本维数无关。（５）基于仿生模式识别理论的方法‘８州。传统模式识别中把不同类样本在特征空间中的最佳划分作为目标，而仿生模式识别则以一类样本在特征空间中分布的最佳覆盖作为目标㈨。也就是说，在仿生模式识别理论中，每一种类型样本子空间的构造是仅仅依赖于该样本类型本身，这与传统模式识别中依赖各种类型样本之间的关系构造样本子空间是完全不相同的。仿生模式识别理论利用“高维空间集合形体覆盖识别方法”进行该类型子空间的构造。基于仿生模式识别理论的识别方法避免了对于未训练样本的误识率较高的问题。１．４本论文的主要工作和章节安排本文重点对人脸的特征提取和分类器的设计进行研究。首先实现了主成分分析（ＰＣＡ）、Ｆｉｓｈｅｒ判别准则（ＦＬＤ）在人脸识别中的应用。４大连理工大学硕士学位论文本文的主要工作是分类器的设计，首先采用了具有纠错能力的ＳＶＭ算法‰删和超椭球神经网络方法。其中具有纠错能力的ＳＶＭ算法由于利用了信道差错控制的编码技术而具有纠错能力，从而得到较高的正确识别率；而超椭球神经网络方法是仿生模式识别理论的应用，它对未训练样本有着较低的错误接受率．鉴于以上两点，本文提出了一种基于超椭球神经网络和纠错支持向量机（ＳＶＭ）的二次分类方法，它既具备了仿生模式识别的对未训练样本误识率低的特点，又具备了纠错ＳＶＭ的具有纠错能力的特点，取得了较好的识别效果。本文共分五章，其内容如下：第一章是绪论部分，阐述了人脸识别问题的提出、发展、研究现状，人脸识别现有的特征提取与识别的主要方法以及本文的主要工作和章节安排。第二章讨论了几种典型的人脸识别的特征提取和识别方法，如用于特征提取的主成分分析（ＰｃＡ）方法和Ｆｉｓｈｅｒ脸方法，用于模式识别的纠错ＳＶＭ方法和超椭球神经网络方法。第三章将纠错ＳＶＭ方法与超椭球神经网络方法结合起来，提出了一种二次分类方法。重第四章给出了以上方法的实验结果与分析。第五章是本文的总结和展望。基于神经网络的人脸识别算法研究２几种典型的人脸识别的特征提取和识别方法人脸识别系统成功的关键在于人脸特征的提取和分类器的设计。特征提取是指从人脸图像中提取出有效信息，将其作为分类器的输入进行分类识别，分为如下两步进行…：首先，原始特征值的形成，由被识别的对象通过计算或者工具测量产生一组特征值。这是由对象本身得来的一组数值，因此一般被统称为原始待征值。其次，人脸特征的提取。特征提取使高维的原始待征向量如，而，…，毛尸通过某种变换，产生低维的特征向量饥，Ｙ２，…，咒｝ｒ。所有的人脸图像数据构成高维空间，一幅人脸图像是高维空间的一个点，高维空间的维数通常是非常庞大的，如本文所用的人脸库中图像是１０３０４（１１２ｘ９２）维的。但是其中有些信息并不能揭示人脸的特征，它们的存在可有可无。在这种情况下为了有效地实现分类识别，就要对这些图像数据进行变换，剔除那些冗余的信息，得到最能反映分类本质的特征。特征提取的目的，就是为了降低特征空间的维数并尽可能保留识别信息，以达到有效分类的目的。常用的特征提取方法有主成分分析（ＰＣＡ）方法、Ｆｉｓｈｅｒ脸方法，独立分量分析（ＩＣＡ）方法‘“ｏ以及小波变换方法等。同特征提取一样，分类器的设计同样决定着人脸识别系统的成败。常用的分类方法有最近邻法、神经网络方法，支持向量机方法等。２．１主成分分析主成分分析方法（ＰｒｉｎｃｉｐｌｅＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，简称ＰｃＡ），又叫做特征脸方法，它是现代人脸识别方法中最为经典，最常见的一种方法。ＰＣＡ利用统计方法直接从整个训练图像集中提取统计特征，而不要求单独抽取鼻子，嘴巴，眼睛等五官特征。ＰＣＡ是一种多元统计数据分析方法，实际上就是进行Ｋ－Ｌ交换，它是用数量不多的若干个线性无关的变量来描述多维空间的绝大部分信息，是基于目标统计特性的最佳正交变换。经过变换后产生的新的分量正交或者不相关，同时以部分新的分量表示原矢量的均方误差最小。２．１．１离散ＫＬ变换离散Ｋａｒｈｕｎｅｎ－１．．，ｏｅｖｅ变换，简称ＫＬ变换或主成分分析“”。在图像集合Ｍ（ｍ，帕，ｍ＝ｏ，ｌ＇…，肘一１，ｎ＝０，１，…，Ｎ一１），Ｏ＝Ｌ２，…，Ｋ）中的每一个图像４（ｍ，Ｈ）可以表达为ＭＮ维的一维向量４：６大连理工大学硕士学位论文４Ｊ４＝４Ｕ，ｏ）４Ｊ；，其中屯＝４（．，，１）（２．１）４Ｊ，．Ｉ４Ｕ，Ⅳ一１）其中４。，是集合中第ｌ幅图像第－『行元素排成的列向量。Ａ的协方差矩阵定义为：∑。＝Ｅ｛（』一％ｘ彳一％）７，其中％＝Ｅ｛毋是Ａ的平均值向量，占｛．）表示求统计平均的运算。对于上述置幅图像的集合可以由下列两式计算：（２．２）ｒ／４Ａ＝专∑４（２．３）（２．４）１＝１ｒ∑。＝专∑（４－ｕＡＸ．每－－ＵＡ）Ｔ令去掉均值的向量为咒＝‘一叱，则去掉均值的人脸矩阵为ｙ＝∽，奶，…，咒】。囊它是Ｋ幅图像的统计平均值。其中虬是删维的，而∑。是』州维的实对称阵·设口』和丑（ｉ＝Ｌ２，…，＾刃ｖ）是∑。对应的特征向量和特征值。将Ａ按减序排列，使得五２五≥…≥乃“（２．５）而特征向量码是＾拼维的。有下列等式成立：∑。ｑ＝丑ｑ（ｉ＝Ｌ２，…，㈣量，构成一个ＭＡｒ维的完备正交向量系。（２．６）由于爿的协方差矩阵∑。是实对称方阵，一定存在有＾刃、ｒ个互为正交的实特征向令Ｋ－Ｌ变换的变换矩阵为丁，Ｔ由∑。的特征向量构成，第ｆ行元素由特征向量口』ｒ构成，即Ｔ＝联ｑ＝佐曷Ｂ＝Ｔ（Ａ一％）（２．７）ｒ为ＭＡｒ阶正交方阵，则离散Ｋ－Ｌ变换可以表达为：（２．８）变换后曰的平均值向量‰为：７基于神经网络的人脸识别算法研究而变换后口的协方差矩阵∑。为∑。趣｛删一巩ｘ刚一砜）７）＝＝阿Ｅ｛Ｔ陋（Ａ－‰ｕＡ炸ＸＡ一－如ｕＡ））ｒｒ）Ｔ，ｚ｝＝２匹｛（４一‰）（４一心）１）ｒ１（２．１０）：ｒｙ，‘一＾『吖］∑。＝ｒ∑。，－Ｉ；ｌ∑。ｈｌ‰，Ｊ…‰】＝［三，］匹＾…∑。‰卜［三，卜ｑ…‰‰，∞。，一蚓”一曩］：卜％【０…‰ｊ可以看出，经ＫＬ变换后Ｂ的协方差矩阵∑。是对角阵，∑。非对角线上的元素称为协方差，协方差为０说明Ｂ中各元素之间是互不相关的，而∑。中对角线上的元素不为０，说明原始图像中元素的相关性很强，而且口中第ｆ个元素的方差就是∑。的作为一组基表示去掉均值的图像，原图像为ｙ＝∑吼ｑ，近似的表示为多＝∑吼ｑ，其中８大连理工大学硕士学位论文ｆ＝Ｅ｛【（４一％）一多】【（４一心）一．刃７）∞’＝Ｅ｛（∑：研（芝ｑ，ａ，Ｘ艺㈣ｒ｝∑研ｑ）７｝、“１‘７ｌ－ｄ“ｔ－－－ｄ＋ｌ由于ｑ相互正交，可以得到孝＝Ｅ【∑酽），将吼＝衫ｙ＝口Ｊ似一心）代入，可得孝＝肼∑ｄ，（Ａ－ｕ，ＸＡ－ｕ，）７ｑ｝ｊ—甜●Ｉ＝∑ａｆｉＥ｛（Ａ－Ｉ／ＡＸ彳－ｕＡ）７）ｑ（２．１３）＝∑衫∑。ｑ＝∑丑可以看出，利用ｄ个最大的特征值对应的特征向量作为基来表示原来的图像产生的均方误差最小。由以上过程可以得知，ＫＬ变换有以下优点：（Ｉ）完全去掉了原图像中的相关性；（２）利用ｄ个最大的特征值对应的特征向量作为基来表示原来的图像所产生的均方误差最小；（３）从能量压缩的角度来看，ＫＬ交换是最优的。２．１．２离散ＫＬ变换在人脸识别中的应用Ｍ．Ｔｕｒｋ提出的特征脸方法“”以训练样本集的总体散布矩阵为生成矩阵，经ＫＬ变换后得到一组特征矢量，该矢量具有人脸的形状，又称为“特征脸”㈣。这样，就产生了一个由特征脸矢量张成的子空间，将每一幅待识人脸图像投影到该子空间上可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置。通过将该坐标系数和已知入的人脸系数进行比较就可以得到该人脸的识别结果。在计算生成矩阵的特征值和特征向量时，由于生成矩阵的维数较大，如果直接计算，计算量将是非常巨大的，此时可以通过奇异值分解（ＳｖＤ）的方法来间接求取，下面给出奇异值分解（ＳＶＤ）定理咖１。奇异值分解（ＳＶＤ）定理：设Ａ是一秩为ｒ的ｎｘｒ维矩阵，则存在两个正交矩阵：ｕ＝［Ｕｏ，％～ｆｆ／ｒｌ】∈巩～ｙ＝【ｖｏ，ｖｌ，．．ｖ，－ｌ】Ｅ婀“７以及对角阵（２．１钔９基于神经网络的人脸识别算法研究Ａ＝ｄｉａｇ［Ａｅ，＾，．．４一ｌ】∈孵“’（２．１５）且凡≥＾≥…≥缸。，满足如下等式：三Ａ－－ＵＡ２Ｖ（２．１６）其中４为矩阵见ｒ和Ａ７Ａ的非零特征值，Ｍ和Ｂ分别为止，和彳■对应于五的特征向量，上述分解即为矩阵Ａ的奇异值分解，所以由上式可以得到：』Ｕ＝ＡＶＡ２（２．１７）利用主成分分析方法进行人脸识别的主要步骤有：（１）读入人脸库。将每一个二维人脸图像数据转化为一维向量，选取每个人的某些人脸图像作为训练样本集，其余的作为检验样本集。（２）计算生成矩阵，即总体散布矩阵∑。＝研似一叱ｘ＿一‰）７｝，也可以写为ｆ∑。＝专∑（４－ｕ。Ｘ４－ｕＡ）７，其中４为第ｆ个训练样本的图像向量，‰为训练样本集１－１的平均图向量，ｘ为训练样本的总数。＜３）计算生成矩阵的特征值和特征向量。由于生成矩阵罗．的维数为删×删，而删通常是一个比较大的数，如果直接计算该矩阵的特征值和特征向量，计算量将是非常巨大的，此时应通过奇异值分解（ＳＶＤ）㈨的方法来间接求取。根据奇异值分解（ｓｖｏ）定理，可以设ｚ＝】，，√置，则】，＝√置．ｚ，可得∑』＝专ｌ矿＝ＺＺ７，∑＿为ＭＮｘＵＮ维方阵，而∑』‘＝ｚ７ｚ为足阶方阵，ＲＫ《删，Ｉ由ＳＶＤ定理可得：ｚ＝ＵＡ２Ｖ７，则丑（ｆ＝１，２，…，，）为矩阵ｚＺ７与矩阵ｚ７ｚ的非零特征值，ｌ甜，与ｕ分别为矩阵ｚｚ７与矩阵ｚ７ｚ对应于丑的特征向量，丽Ｕ＝ＺＶＡ２。可以通过计算Ｉ１矩阵ｚ７ｚ的特征向量ｔ，然后根据Ｕ＝ＺＶＡ２，由ｑ＝÷匆可以求出ＺＺ７的特征向量。＾可以看出，用这种方法来求取特征值可以大大的减少计算量。（４）人脸特征的提取与识别。虽然协方差矩阵罗。最多有Ｋ（Ｋ《删）个对应于非零特征值的特征向量，但是通常情况下，Ｋ仍然很大。而在实际中，并非所有的特征向量都需要保留，在这种情况下，考虑到ＫＬ变换的特点，可以仅仅选取最大的前Ｋ个特征值所对应的特征向量玩。ｌＯ大连理工大学硕士学位论文而玩的每列（行）也对应于一个图像，它们被称之为特征脸。以这些特征向量玩形成降维子空间，将原来的人脸图像向该子空间投影，可以得到咒＝刃＠一％），以此作为训练样本的特征向量。同样的，对于检测样本也可以将其向降维子空间内投影，得到可以代表检验样本的特征向量。关于人脸识别的算法，本文将在后面进行详细讨论。２．２Ｆｉｓｈｅｒ脸方法ＫＬ变换只是一种数据处理方法，它具有最佳的图像表示能力，但并不意味着它具有最佳识别能力。而Ｆｉｓｈｅｒ最佳鉴别向量方法的基本思想是将原来高维的模式样本投影到最佳鉴别向量空间中以达到减少特征空间维数的目的。Ｆｉｓｈｅｒ最佳鉴别向量方法使投影后的样本的类间散布矩阵最大而类内散布矩阵最小，也就是说投影后保证样本在新的子空间中有最大的类间距离和最小的类内距离，从而使样本在该空间中有最佳的可分离性，因此它是一种有效的模式分析技术，关键是如何求解最佳鉴别向量。Ｊ．Ｗ．Ｓａｍｍｏｎ…提出了求最佳鉴别平面的技术。Ｄ．Ｈ．Ｆｏｌｅｙ与Ｊ．Ｗ．Ｓａｍｍｏｎ㈨进一步求出了最佳鉴别向量集。文献［１４］和［４５］提出通过使用Ｆｉｓｈｅｒ线性判别（ＦＬＤ）来减少特征空间维数的新方法。ＦＬＤ利用了类成员信息并抽取了一个特征向量集，该特征向量集强调的是不同人脸的差异而不是照明条件、人脸表情和方向的变化。２．２．１Ｆｉｓｈｅｒ鉴别向量将刀维空间的数据投影到一条直线上，就可以把刀维数据压缩成一维。当然这样可能会使在ｎ维空间里原来分得很开的一些紧凑的样本集群混杂在一起。但是在很多情况下，如果把直线转动一下，就有可能找到一个方向，使样本能够在这个方向的直线上较好地分开。假设有一集合包含Ⅳ个疗维的样本而，…，ｈ，其中Ⅳ１个样本属于ｑ类，Ⅳ２个样本属于哆类，显然有Ｎ＝ⅣＩ＋Ⅳ２。若对样本Ｘ的分量作线性组合，则可得标量Ｙ＝ｗｒｘ（２．１８）这样得到相应于Ⅳ个样本的集合咒，…，蜘。从几何上看，若¨ｗｌｌ＝１，则每个Ｙ。就是相应的ｘｓ到方向为Ｗ的直线上的投影。实际上Ｗ的幅度是无实际意义的，重要的是Ｗ的方向。即希望落在直线上的∞类的样本和奶类的样本的投影会很好地分开而不是混合在一起。样本均值之差可用来度量投影之间的分离性，设巩是甩维样本的均值ｌ旦他＝音∑‘，ｉ＝１，２（２·１９）基于神经网络的人脸识别算法研究而投影点的样本均值厩是嘎＝专粪乃＝专凳＾＝矿现待啦由此可得慨一ｌｉｌ２Ｉ＝１ｗ１（ｍ。－ｍ：）Ｉ。定义属于以类的投影样本的类内离散度为：∞∞社专薯饥吲２小－，２个线性函数矿ｘ，它能使判决函数：（２．２·）嘱２＋最２）称为投影样本的总的类内离散度。Ｆｉｓｈｃｒ线性判别函数被定义为这样的一圳＝群而各类类内离散度越小越好（同类样本内部尽量密集）。定义样本类内离散度矩阵墨和总类内离散度矩阵瓯如下ｓ㈣达到极大。显然，为使Ｊ最大应使两类均值之差越大越好（不同类样本分布尽量分开），２专善（＿一％）ｑ一他）ｒ’扛１，２＆＝Ｓ＋岛（２’２３）（２．２４）而２瓦１善Ｎ，（＾一矿啊）２２专著∥钙一玛№一他厂ｗ＝０ｓＷ因此可以得到（２２５）胬＋§：＝谚Ｓ∥同样的Ｑ。２６）（确－历２）２＝（矿玛一ｗｒｍ２）２－－－－Ｗ７（啊·鸭Ｘ％－％）７ｗ＝矿墨ｗ（２．２Ｄ１２大连理工大学硕士学位论文其中矩阵最＝（啊一鸭Ｘ码一鸭）７，称为类阃离散度矩阵，它是对称半正定矩阵，是二个向量的外积，所以其秩最多为ｌ；矩阵＆称为总类内离散度矩阵，它也是对称半正定阵，当Ｎ＞ｎ时通常是非奇异的。而由于Ｓｗ＝（％一鸭Ｘ％一鸭）７Ｗ，因此对任意向量ｗ，瓯’．，是在％一鸭方向上的，故瓯是奇异的。引入民和瓯，可得Ｆｉｓｈｅｒ线性判决函数－，：㈨＝等’．，微分得（２．２８）这个式子是数学物理中著名的广义Ｒａｙｌｅｉｇｈ商。为了求得最优的鉴别向量，将．，对设使Ｊ达到极大的向量Ｗ必须满足；罢：昙ｆ梁１：一２（ｗｒＳｗ）Ｓｂｗ－２（ｗｒＳｗ）Ｓ，ｃｗ：０ａ¨，鲫Ｌｗ７瓯ｗＪ，Ｉ，』Ｓｗｗ（２．２９）Ａ：掣Ｗ７＆Ⅵ，（２．３０）最Ｗ＝碱ｗ值问题：《１昆ｗ＝２ｗ（２．３１）这是一个求解广义特征值的问题。若＆为非奇异矩阵，则可以得到一个一般的特征（２．３２）而因为墨ｗ总是在％一％方向上的，所以没有必要求出氍１瓯的特征值和特征向量。同时由于Ｗ的比例因子是非实质性的，所以可以立即把解写成：ｗ＝《１（％一％）（２．３３）该向量就称为Ｆｉｓｈｅｒ鉴别向量。Ｆｉｓｈｅｒ鉴别向量使类间离散度同总类内离散度之比达到最大，这样就把高维模式样本（行维问题）转化为一维模式样本（一维问题）并在一维空间（直线）上保持最优的鉴别力，也就是说Ｆｉｓｈｅｒ鉴别向量能将高维模式以最优的可分性指标变换成一维模式。２．２．２多类问题的Ｆｉｓｈｅｒ线性判别对于Ⅳ个样本的Ｃ类问题，假设哆Ｏ＝ｌ，２，…，ｃ）类的先验概率为Ｐ（ｑ），Ⅳ』（ｆ＝１，２，…，ｃ）为各类的样本数，显然有∑Ｐ（够）＝ｌ和∑Ｍ＝Ｎ。基于神经网络的人脸识别算法研究Ｆｉｓｂ盯线性判别的自然推广包括ｅ－１个判决函数，这样就成为从刀维空间向ｃ一１维空间作投影“…。＆为类内散布矩阵，表示ｃ类样本向量的平均散布；假设行≥ｃ，ｘ，（‘’表示属于ｑ类模式的第－，个疗维样本向量，定义类内散布矩阵为＆＝∑Ｐ＠）ＳＳ为ｑ类的类内散布矩阵，定义为（２．３４）墨２专善时’一ｍ，Ｘｘｊ（＇）－码）ｒ而嘭类的均值向量能为（２．３５）”亩善妒’因此类内散布矩阵＆可以表示为（２．３６）＆＝∑Ｐ＠）古∑钙ｏ’一ｍ，Ｘｘ，ｏ’一艰）７』Ｔ¨１Ｉ＝Ｉ（２．３７）类问散布矩阵＆表示在总体均值向量周围各类均值向量码的分布，墨＝∑Ｐ（ｏ）ｊＸｍ，一所）（嘲一聊）７其中研＝∑尸（嵋）鸭为总体平均值向量。则总离散度矩阵Ｓ如下：（２．３８）ｓ＝∑Ｐ（ｑ）古∑ｑ∽一埘）（矿一用）７ｆ；ｌＪ＝ｌ＾』１＝∑尸（ｑ）吉∑（＿ｏ’一ｒａ，＋他一坍）（＿∞一％＋鸭－ｍ）７ｌ＝１』Ｖｆ』－１１“』Ⅳ‘＝∑弛）古∑ｑ（０－－ｍ，Ｘｘ．／０－％）７＋∑地）吉芝伽一Ｍ）＠一％）７（２．３９）ｉ＝１』’●Ｊ—Ｉ，ｃｌ』Ｖｌ，－Ｉ＝Ｓｗ＋∑Ｐ（ｑ）（％一聊）（％一ｍ厂＝Ｓ。＋ｓｂ押维空间向ｃ一１维空间的投影是通过Ｃ一１个判别函数来实现的：卫＝啦７ｘ，ｉ＝１，…，ｃ—ｌ（２．４０）１４大连理工大学硕士学位论文若将乃看作向量Ｊ，的第ｆ个分量，把权向量Ⅵ看作矩阵‰ｃ－Ｉ）的第ｆ列，即形＝【Ｍ，…，Ｈ■】，则用投影矩阵表达为：Ｊ，＝形７ｘ（２．４１）通过投影矩阵形将样本集而，…，ｈ投影到相应的投影集合乃，…，蜘。令乃‘‘’表示ｑ类的第．，个ｃ一１维样本向量，如果定义羁＝专耖历＝∑Ｐ（ｑ溉∞动（２．４３）（２．４４）鼠＝∑Ｐ＠）吉∑饥们一曩）饥ｏ’一只）７ｌｄＩ－Ｉ鼋＝∑Ｐ（ｑ）（商一历）（商一前）７可以推导出（２．４５）§，＝０ｓ∥§ｈ＝订ｓ∥Ｑ．４６）Ｑ．４７）下一步就是寻找使类间离散度对类内离散度之比为最大的变换矩阵∥，判决函数为：删，＝斟＝翮列的矩阵Ｗ’∈胄“。即应该使投影后的类间散布最大而类内散布最小，即（２．４８）如果类内散布矩阵瓯非奇异，线性判别分析ｑＤＡ）根据使投影后样本向量类间散布矩阵的行列式和投影后样本向量类内散布矩阵的行列式之比最大而得到一个具有正交∥’＝ｆＭ，％，…，％】＝ａｒ９１铲（２．４９）其中∽１ｉ＝１，２，…，耐为墨和瓯的对应于递减的特征值集合｛丑Ｉｉ＝Ｉ，２，…，”的广义特征向量集合。这些特征向量称为ＭＤＦ（ｔｈｅＭｏｓｔＤｉｓｃｒｉｍｉｎａｔｉｎｇＦｅａｔＩ腿）特征向量㈨。最ｗＩ＝＾Ｓｗｌ４，（２．５０）由于类间离散度矩阵既是ｃ个秩不大于１的矩阵之和，且其中组成矩阵的向量仅有ｃ—１个是相互独立的，因此Ｓ的秩不大于ｃ一１，即咒最多有ｃ一１个特征值是非零的；而基于神经网络的人脸识别算法研究另一方面，由于任意一个矩阵左乘或右乘以可逆矩阵其秩不变，因此，矩阵ｓ２ｓ。的秩也不大于Ｃ—ｌ，故ｓ２ｓ。也最多只有ｃ—１个特征值是非零的，这就是说女的上界为ｃ—ｌ。２．２．３基于Ｆｉｓｈｅｒ线性判别的人脸识别采用多类Ｆｉｓｈｅｒ线性判别分析方法可以大幅降低原来模式空间的维数，并使投影后样本向量的类问散布最大、类内散布最小。然而在实际中，因为训练样本的数量往往小于每一个样本所包含的象素个数，所以样本的类内散布矩阵通常是奇异的，这就使得求解变得很困难。为了解决这个问题，从而得到最佳鉴别向量，实际中经常采用将ＰＣＡ和ＦＬＤ结合起来的方法，即Ｆｉｓｈｅｒ脸方法“”．它首先利用ＰＣＡ将高维空间的样本投影到低维空间，使类内散布矩阵为非奇异，然后再采用Ｆｉｓｈｅｒ线性判别方法来求取最佳鉴别向量。如图２．１给出了Ｆｉｓｈｅｒ脸方法的流程图。人脸图像投影予空问Ｆｉｓｈｅｒ子空间图２．１Ｆｉｓｈｅｒ脸方法的框图Ｆｉｇ．２．１ＴｈｅｂｌｏｃｋｄｉａｇｒａｍｏｆＦｉｓｈｅｒｆａｃｅｍｇｌｈｏｄＦｉｓｈｅｒ脸算法首先将人脸图像通过ＰＣＡ方法投影到子空间，使空间图像转化到最佳描述特征（ＭＥＦ，ｔｈｅＭｏｓｔＥｘｐｒｅｓｓｉｖｅＦｅａｔｕｒｅ）空间，而且使类内散布矩阵为非奇异；然后再采用Ｆｉｓｈｅｒ线性判别分析将ＭＥＦ空间转化为最佳鉴别特征（ＭＤＦ。ｔｈｅＭｏｓｔＤｉｓｅｒｉｍｉｎａｎｔＦｅａｔｕｒｅ）空间，从而得到原始图像的特征。Ｆｉｓｈｅｒ脸方法的投影矩阵为：吆＝吆％其中ＰＣＡ方法和Ｆｉｓｈｅｒ线性判别分析的投影矩阵为（２．５１）阡■＝ａｒｇｍａｘ［Ｗ１品形ｌ（２．５２）％＝ａｒｇｍａｘ将所有人脸图像向阡０上投影，得到可以代表人脸的特征，将其用于人脸识别。１６大连理工大学硕士学位论文２．３支持向量机人脸识别算法统计学习理论（ＳｔａｔｉｓｔｉｃａｌＬｅａｒｎｉｎｇＴｈｅｏｒｙ或ＳＬｎ是一种研究小样本情况下机器学习规律的理论…１。Ｖａｐｎｉｋ等从上世纪六、七十年代开始致力于这方面的研究，到九十年代中期，随着其理论的不断发展和成熟，统计学习理论开始受到越来越广泛的重视Ｍ。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小问题等）。在这一理论基础上发展了一种新的通用学习方法即支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ，ＳＶＭ），ＳＶＭ把数据映射到高维特征空间，以结构风险最小化（ＳＲＭ）为归纳原则，在高维空间中构造具有低ＶＣ维的最优超平面作为判决面，使风险上界达到最小，学习机器具有最优的推广能力。由于统计学习理论有完备的理论体系，以及ＳⅥ订具有强的推广能力，ＳⅥ“己经受到越来越多的重视，并在模式识别、回归估计、密度估计等领域取得了很好的成果。２．３．１支持向量机概论碰～支持向量机的最大特点是根据结构风险最小化原则，尽量提高学习的泛化能力，即由有限的训练样本得到的小的误差仍能够保证对独立的测试集的小的误差；另外，由于支持向量机算法是一个凸优化问题，因此局部最优解一定是全局最优解，可防止过学习，这些特点是其它学习算法，如神经网络学习算法所不及的。ＳＶＭ方法是从线性可分情况下的最优分类面（Ｏｐｔｉｎ：１ａｌＨｙｐｃｒｐｌａｎｅ）提出的。图２．１所示为二维两类线性可分情况，图中实心点和空心点分别表示两类训练样本，日为把两类没有错误地分开的分类线，鼠和皿分别为过两类样本中离分类线最近的点且平行于分类线的直线，腻和Ｅ间的距离称为分类空隙或分类间隔（ｍａｒｇｉｎ）。所谓最优分类线就是要求分类线不但能将两类无错误地分开，而且要使分类空隙最大。前者是保证经验风险最小（为∞，使分类空隙最大实际上就是使推广性的界中的置信范围最小，从而使真实风险最小。推广到高维空间，最优分类线就成为最优分类面。基于神经网络的人脸识别算法研究图２．１最优分界面Ｆ培．２．１Ｔｈｅｏｐｔｉｍａｌｈｙｐｅｒｐｌａｎｅｄ维空间中线性判别函数的一般形式为ｇ（功＝ｗ·，＋６，分类面方程为ｗ·，＋６＝０，我们可以对它进行归一化，使得对线性可分的样本集＠，咒）’ｉ＝ｌ，…，栉，ｘ∈Ｒ４，Ｙ∈“１，－１，，其中ｔ是输入，咒是其对应的输出，满足乃（ｗｘｊ＋ｂ）－Ｉ≥ｏ，ｉ＝ｌ，…，ｒ／（２．５４）此时分类间隔为２１Ｉ叫｜，使间隔最大等价于使得０圳２最小。满足式２．５４且使去ｆＩ卅Ｊ２最小的分类面即为最优分类面，喝，皿上的训练样本为支持向量。根据统计学习理论，使妻Ｉ｜卅１２最小可以同时使训练误差与ＶＣ维达到最小。所以目标最小化函数为。（叻：匀叫１２：丢矿ｗ在式２．５４约束下利用Ｌａｇｒａｎｇｅ常数法可以构造方程（２．５５）Ｌ（ｗ，ｂ，口）＝去（Ⅵ，７们一∑口。［ｙ。（ｗ７ｔ＋６）一ｌ】（２．５６）其中，口。≥０为Ｌａｇｒａｎｇｅ系数，我们的问题变为对ｗ，ｂ求式２．５６的最小值。对式２．５６分别对ｗ，ｂ求偏微分并令它们的偏导数为０，就可以把原问题转化为如下的比较简单的对偶问题：在约束条件∑ｙ，ｑ＝ｏ，口．≥ｏ，ｉ＝１，…，栉（２．５７）大连理工大学硕士学位论文之下对盯．求解下列函数的最大值：Ｑ＠）＝∑喁一去∑ｑ哆只乃（而·一）Ｉ＝Ｉ（２．５８）●ＩＪ－ｌ若Ｚ为最优解，则ｗ．＝∑彳乃五ｔ＝ｌ（２．５９）最优分类函数为ｆ（ｘ）＝ｓｇｎ（ｗ＂７ｘ＋ｂ‘）把式２．５９代人式２．６０可得：（２．６０），∞＝鹾虹∑ｑＹ。珈＋６）Ｉ＝Ｉ（２．６１）最优分类面是在线性可分的前提下讨论的，在线性不可分的情况下，就是某些训练样本不能满足式２．５４的条件，因此可以在条件中增加一个松弛因子六≥０，变成咒（ｗ群。＋∞一ｌ＋参２０，ｉ＝ｌ＇…，力（２．６２）而在目标最小化函数式２．５５中加入惩罚项变为：西（ｗ，ｆ）＝去（ｗ７ｗ）＋ｃ∑鼻‘Ｊ｛ｌ（２．６３）同样可以在式２．６２的约束下利用Ｌａｇｒａａｇｅ常数法构造方程：Ｌ（ｗ，ｂ，六盯）＝｛（ｗ７ｗ）＋ｃ∑点一∑盯，眦（ｗ’而＋ｂ）－ｑ‘，ｔ＝ｌ（２．６４）式２．５８可以化为其对偶形式，其对偶形式为在如下的约束下∑．），。％＝ｏ，ｏ≤吒≤ｃ，ｆ＝ｌ，…，一１＝１（２．６５）求下式的最大值Ｑ＠）＝∑％一寺∑ｑ口，Ｙ，Ｙ／蜘，ＩＩ（２．６６）●最终的判别式可以按照式２．６２得到。在这里我们注意到在最终的分类式中含有支持向量的内积运算，在它的求解运算中也包含训练样本间的内积运算，可见要解决一个最优线性分类问题，我们只需要知道这个空间中的内积运算即可。而在广义的线性判别函数问题中，如果一个问题在其定义的空间不是线性可分的，这时可以构造新的特征向量，把问题转换到一个新的高维空间中，１９基于神经网络的人脸识别算法研究可能在新的高维空间中实现新的特征的线性可分。按照广义线性判别函数的思路，要解决一个非线性问题，我们可以设法通过非线性变换把原来的问题转化为另一个空间中的线性问题，在这个变换空间中求最优或广义最优的分类面。考虑到最优分类面的性质，在这个变换空间中我们需要进行内积运算。而进一步看，我们甚至没有必要知道采用的非线性的形式，而只要知道它的内积运算即可。所以我们只要定义变换后的内积运算，而不必真的进行这种变换。根据Ｈｉｌｂｅｒｔ－Ｓｅｈｍｉｄｔ原理，只要有一种运算满足ＭｅｒｃｅｒＥｏＪ条件，它就可以作为这里的内积使用。满足Ｍｅｒｃｅｒ条件的函数通常被称为核函数。设ＫＯ。，工，）为一个核函数，那么式２．６６与式２．６２可以写为：１ｇ（口）＝∑吼一｛∑口，口／ｙ，Ｙ，芷（墨，功（２．６７３ｏ，＠）＝ｓ烈∑吼ｙ，Ｋ（ｘ，，ｘ）＋６）ｔ＝ｌ（２．６８）这样支持向量机的基本思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后在这个空问中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数实现的。输出（决策规则），ｙ＝赡《≥≥ｒｅ再，习＋６］）ｒ盏ｓ萨４芝：：ｎ讲ｚ’（再，习＋６Ｉ＼扣ｉ／权值ｑ—ｑ儿基＂－Ｔ－＇ｓ十支持向量ＸＩ，ｒ２，…，ｒ．的非线性变换（内积）输入向量‘。∥ｘ＝Ｆ，护，…，一）图２．２支持向量机示意图Ｆｉｇ．２．２ＩｌｌｕｓｔｒａｔｉｏｎｏｆｔｈｅＳＶＭ支持向量机求得的分类函数类似一个神经网络，其输出是若干中层节点的线性组合，而每一个中层节点对应于输入样本与一个支持向量的内积，如图２．２所示。２０大连理工大学硕士学位论文从图２．２可以看出，支持向量机不是试图使原输入空间进行降维，而是采用一种非线性变换使输入空间升维，谋求在高维空间中问题变得线性可分。因为非线性变换只是改变了内积运算，算法的复杂性并没有随着维数的增加而增加。统计学习理论和支持向量机方法对有限样本情况模式识别问题中的一些根本性问题进行了系统的理论研究，并在此基础上建立了了一种较好的通用学习算法，以往的很多困扰机器学习的问题如模型选择与过学习问题，非线性与维数灾难问题，局部极小点问题等都在这里得到某种程度的解决，而且很多其它的机器学习方法可以看作是支持向量机方法的一种实现，因此统计学习理论和支持向量机方法被看作是研究机器学习问题的一个基本框架。支持向量机方法的几个主要优点为：．（１）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；（２）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在其它非线性优化方法中无法避免的局部极值问题；（３）算法将实际问题通过非线性变换转换到高维的特征空间，在商维空间中构造线性判别函数来实现原空间中的非线性判别函数，能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关；（４）在ＳＶＭ方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数（Ｒａｄｉａｌ习算法。目前，ＳＶＭ算法在模式识别、回归估计、概率密度函数估计等方面都有应用。例如，在模式识别方面，对于手写数字识别、语音识别、人脸图像识别、文章分类等问题，ＳＶＭ算法在精度上已经超过许多其它的学习算法或与之不相上下。但是由于￥ＬＴ理论和ＳＶＭ方法尚处在发展阶段，很多方面尚不完善，许多理论目前还只有理论上的意义，尚不能在实际算法中实现；而有关ＳＶＭ算法某些理论解释也并非完美。此外，对于一个实际的学习机器的ＶＣ维的分析尚没有通用的方法，ＳＶＭ方法中如何根据具体问题选择适当的内积函数尚缺乏理论依据。２．３．２ＢａｓｉｃＦｕｎｃｔｉｏｎ或ｌｕ３Ｆ）ｌ＂）方法、多层感知器网络等许多现有学ＥＣＯＣ（Ｅｒｒｏｒ—ｃｏｒｒｅｃｔｉｎｇＯｕｔｐｕｔＣｏｄｅｓ）方法ＳＶＭ最初设计是用作二类分类器的，而对于有多个类别的图像识别问题来说，显然需要的是多类分类器，这就需要将多个ＳＶＭ组合起来使用。如何有效地将ＳＶＭ从二类问题推广到多类问题还是一个正在研究的问题。当前已经有许多算法将ＳＶＭ推广到多类分类器，常用的方法是用多个二类ＳＶＭ分类器组成多类分类器，其中有一对一２１基于神经网络的人脸识别算法研究方法嘲，一对多方法嘲，ｍ－ａｒｙ方法“。等。其中一对一方法具有较强的分类能力，分类效果较好，但是对于Ｋ类问题，它需要的二类ＳＶＭ分类器个数为Ｋ（Ｋ一１）／２，这样当需要识别更多的类别时，一对一方法的使用就受到了限制。丽使用一对多方法需要五个分类器，虽然数目不太多，但其分类效果却并不理想。ｍ－ａｒｙ方法虽然只需要ｒｌｃ呸足１个分类器即可，但是这组分类器中一旦某个ＳＶＭ给出错误结果，将导致最终的分类错误…，所以它的分类效果并不好。由此可见。在常见方法中，要么可以达到较好的分类效果但需要较多的分类器，要么需要较少的分类器但识别效果不佳，如果能找到二者的最佳结合点，使分类器使用较少的ＳＶＭ但仍能达到较高的识别率成为一个关键的问题。鉴于以上几点，文献［２８］和［３５］提出了基于通信中信道纠错编码方法构造出一种新的ＳＶＭ多类分类方法即ＥＣＯＣ方法。由于它使用了通信中信道纠错编码解码技术而具有纠错能力，这样即使其中几个二类分类器产生了错误的输出结果，但由于其本身具有纠错机制，从而使这些错误对最终的分类结果不会产生影响，仍然可以得到正确的分类结果，因此这种分类器具有比其它的多类ＳＶＭ分类器更好的分类效果。同时对于Ｋ类问题，这种方法仅需要比ｍ－ａｒｙ方法的ｆｌｏｇ，Ｋ］个二类分类器稍多一些，比一对一方法需要的分类器要少很多，而且还可以比一对多方法需要的分类器少，同时其分类精度得到提高㈣。下面给出对于Ｋ类问题基于ＥＣＯＣ方法建立ＳＶＭ多类分类器的算法：训练时，首先选择合适的码长厅和最小汉明距离ｄ，其中胛≥ｆｌｏｇ，ｍ１＋ｄ，对每个参加训练的样本所属的类赋予唯一的码字；然后利用训练样本集建立／＇／个训练集，将每个训练集划分成两个子集，根据亍集的码值每个子集被赋以ｌ或．１，以它们作为训练时的期望输出；最后通过学习算法来训练，１个ｓⅥ订，获得纠错ＳｖＭ分类器。检验时，利用”个已经训练好的ＳＶＭ来对检验样本分类，将样本输入到每个ＳＶＭ中，可以得到玎个输出值（１或．１）。在解码时，首先利用这Ｈ个值以相同的规则编码，然后利用预先选定的纠错算法进行解码并找出码字中可能的错误，最后利用解码后的数据进行分类。２．４仿生模式识别方法传统模式识别中把不同类样本在特征空间中的最佳划分作为目标，而仿生（拓扑）模式识别魄“４３盯①ｉｏｎｆｉｍｅｔｉｃＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＢＰＲ）则以一类样本在特征空间的分布的最佳覆盖作为目标，它可以克服传统模式识别方法对于未训练样本的高误识率问题。以二维空间为例，如图２．３所示。大连理工大学硕士学位论文图２．３仿生模式识别方法的二维空间覆盖示意图Ｆｉｇ．２．３Ｔｈｅｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆｂｉｏｎｌｉｍｅｔｉｃｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎａｌｇｏｒｉｔｈｍ在图２．３中，三角形为待识别样本，圆形和十字形为其它类样本，图中的椭圆覆盖范围代表的是仿生模式识别的覆盖方式。仿生模式识别与传统模式识别的差异如表２．１所示。表２．１仿生模式识别和传统模式识别的差异Ｔａｂ．２．１Ｔｈｅｄｉｆｆｅｒｅｎｃｅｓｏｆｂｉｏｍｉｍｅｔｉｃａｎｄｔｒａｄｉｔｉｏｎａｌｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ传统模式识别基本出发点数学工具分析方式识别方法实现途径多类样本的最优分类统计学代数、方程的理论推导划分支持向量机、神经网络等仿生（拓扑）模式识别一类类样本的认识拓扑学高维空间画法几何高维空间复杂集合形体覆盖多权值高阶神经元网络仿生模式识别使用的方法是“高维空间复杂几何形体覆盖识别”的方法ｍ‘“，是在特征空间中研究某类样本的分布状况而加以合理覆盖。仿生模式识别的实现过程是利用多权值高阶神经元网络建立高维空间封闭超曲面完成对“事物”的最佳覆盖过程‘””，可以利用双突触权值高阶神经元。““的数学模型来描述，所采用的基本的计算模型如下：ｒ＝四ｎ赢ｗ（ｘ崩－ｗ＇刊％（ｘｊ－呓）ｌＰ＿Ｏｒ】嚣为空间的维数；ｓ为决定单项正负号的参数；Ｐ为幂参数。（２．６９）式２．６９中：Ｙ为神经元的输出；ｆ为神经元的激励函数：∥为神经元的激活阈值；ｗ，和∥为由第，个输入端接至神经元的方向权值与核心权值；ｘ，为第，个输入端输入；基于神经网络的人脸识别算法研究如果设定ｓ＝Ｏ，上式就是一个封闭的超曲面神经元。如果将函数，的基设为定值，那么输入点的轨迹就是一个封闭的超曲面，这个超曲面的覆盖范围即为输入点的覆盖范围。它的核心位置由核心权值矢量决定，形状由Ｐ的值决定·此时若使一取不同的值，则相当于将封闭曲面在不同方向加以拉伸或压缩，从而形成不同的形状㈨。大连理工大学硕士学位论文３基于超椭球神经网络和纠错ＳＶＭ的二次分类方法３．１二次分类方法在上一章中介绍的超椭球神经网络分类方法，由于它是仿生（拓扑）模式识别的应用，所以它具备了仿生模式识别理论的特点，对未训练样本有着极低（几乎为ｏ）的误识率“”：但是由于它不是对整个空间的划分，而是对每类样本的覆盖过程，所以整个空间中可能会有没被覆盖到的空间。而如果检验样本落在这些空隙中，它们就不被任何一个分类器所识别；或者由于两类样本的覆盖区域有可能发生重叠，所以某个检验样本可能被两个或两个以上的分类器识别，我们称这两类样本为“问题样本”。对于这些“问题样本”，仅仅使用超椭球神经网络进行一次分类无法得到最终的分类结果（无论是正确的还是错误的），即超椭球神经网络分类方法对检验样本有着一定的错误拒识率。那么对这些“问题样本”我们应该如何处理呢，是不是就束手无策了昵？本文提出一种二次分类方法，旨在解决第一次分类中无法识别的样本。对于在第一次分类中遗漏的“问题样本”，利用另一种分类方法进行二次分类，从而得到最终的分类结果；而对于在第一次分类中即可得到结果的样本，可以认为对其识别已经结束，不需要再进行二次分类，也可以再利用另一种方法进行二次分类，而最终的分类结果由两次分类的结果共同决定。但在本文中对于在第一次分类就可以得到分类结果的样本，就认为对它们的分类已经结束，以第一次的分类结果作为最终结果，不再对它们进行二次分类了。当然，所用到的二次分类的方法就不应该是基于仿生模式识别理论的方法了，而应该是能够弥补第一次分类器的缺点的分类方法，否则有可能还会有“问题样本”的出现。因此本文中用到的二次分类方法为模式空间划分的分类方法，它们在用于模式分类时均不会发生拒识现象，这样到最后识别结束时所有样本均可被分类，不再有拒识现象的存在。二次分类方法将超椭球神经网络方法和模式空间划分的分类方法结合起来，在改善识别率的同时，也在一定程度上避免了对未训练样本的高误识率问题。Ｙ图３．１二次分类方法的块状图Ｆ嘻３，１Ｂｌｏｃｋｄｉａｇｒａｍｏｆｔｈｅｔｗｏ－ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎａｐｐｒｏａｃｈ基于神经网络的人脸识别算法研究如图３．１所示为二次分类方法的结构图。其中ｚ为待分类样本，首先使用超椭球神经网络进行分类，得到分类结果％，如果该样本在第一次分类中可以被识别，此时认为识别结束，以第一次分类的结果作为最终结果；若该样本在第一次分类中无法被识别，则利用二次分类器其进行第二次分类，最终的分类结果ｙ是由两个分类器所共同决定的。与普通的并联或者串联的多级分类器不同的是，本文提出的二次分类方法中所包含的两个分类器的分类结果互不影响，而且可以达到互补的作用。简单的说就是，在超椭球神经网络的识别结果中存在着一定量的“问题样本”，可以将这些样本输入到二次分类器中进行第二次分类，“问题样本”中可能会有部分样本被二次分类器正确分类，从而总的识别率会得到提高；而从另一方面来看，单一的基于模式空间划分的分类器总是存在着一定的误识率，这时可以认为这些被误识的样本可能会有一部分已经在第一次识别中被超椭球神经网络正确分类。而二次分类方法的判别准则为，在第一次分类中，如果样本可以被超椭球神经网络所分类，其最终结果以第一次分类结果为准，所以总的识别率也可能会得到提高。但二个分类器的先后顺序却并不可以颠倒，这是因为超椭球神经网络分类器的识别结果中有“问题样本”的存在，可以利用二次分类器对其进行二次分类；而如果利用二次分类器进行第一次分类，由于它对所有样本均可进行分类得到分类结果，根本无法得到“问题样本”，二次分类也就无从谈起，所以两个分类器的顺序并不可以颠倒。选用不同的二次分类器可以得到不同的分类器组合，而二次分类器的选取会影响到最终的分类结果。例如选用最常见的最近邻分类器ⅨＮＮ）作为二次分类器，即认为二次分类时检验样本与它距离最近的训练样本属于同一类别，如图３．２所示。由于最近邻分类方法本身的正确识别率有限，这样即使对所有“问题样本”均进行了二次分类，最终结果中出现错误的概率也相对较大。拦繁避嚣静突器ｙ图３．２基于仿生模式识别和最近邻分类器的二次分类方法的块状图Ｆｉｇ．３．２Ｂｌｏｃｋｄｉａｇｒａｍｏｆｔｈｅｔｗｏ－ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎａｐｐｒｏａｃｈｂａｓｅｄＯｉｌＢＰＲａｎｄＫＮＮ大连理工大学硕士学位论文而如果选用在单独分类时正确识别率较高的分类方法，则它对。问题样本”的正确识别率也会相对较高，从而可能会使总的正确识别率提高。３．２基于超椭球神经网络和纠错ＳＶＭ的二次分类方法在上一节中提到，二次分类器的选取影响着最终的分类结果，较好的二次分类器可能得到更好的分类效果。最简单的二次分类方法是将超椭球神经网络和最近邻分类方法结合起来，利用最近邻分类器来解决第一次分类中出现的“问题样本”，但由于最近邻分类方法的正确识别率并不高，所以可能会影响到总的正确识别率。本文提出将纠错ＳⅥ讧方法和超椭球神经网络方法结合起来，得到一种基于纠错ｓｖＭ和超椭球神经网络的二次分类方法，并将其应用在人脸识别中。３．２．１人脸识别的超椭球神经网络算法及其实现在式２．６９中，如果取Ｓ＝０，Ｐ＝２，同，则模型可以转化为ｌｒ＝九∑０一∽一嘭）１２一口２】，若将函数／的基设为定值０，则有∑嵋（ｘｊ一嵋）２＝口２，可ｊｊ＝ｌＪ－ｔ以看出，此时的输入点轨迹是高维空间中一个封闭的超椭球，输入样本点的覆盖范围为高维空间中的超椭球体，因此这种方法叫做超椭球神经网络饵同帅方法。判断检验样本是否属于某类，只需要考察它是否落在该类所构成的超椭球体的覆盖范围内即可。其模型如图３．３所示。⑥⑥⑧图３．３超椭球神经元的模型Ｆｉｇ３．３ＴｈｅｍｏｄｅｌｏｆｔｈｅＨｙｐｅｒ－ＥＵｉｐｓｏｉｄＮｅｕｒｏｎ基于神经网络的人脸识别算法研究在图３．３中，矢ｉｘ，，恐，…，毛为输入的训练样本，嵋，％，…，％和嵋，嵋，…，嘭分别为方向权值与核心权值，口２为门限值，矿（·）为非线性函数，矿ｏ）２寿，ｙ为网络的输出。我们采用如下的算法来训练超椭球神经网络：（１）初始化：Ⅵ、口卜小的随机数，而对于核心权值．１．ｆ则取两个训练样本的中心点而不参与训练；（２）输入‘ｏ＝ｌ，２，…，功，计算输出ｙ＝ｐｌ∑嵋“一叫）２－８２ｌ；涨用梯度下降法更新她有援嚣；鬈淼；！｝），其中ｊ△嵋。一ＶｍＥ（ｗ）＝２（ｄ一力’Ｊ，’（１一力’ｗ他）‘阮一叫（。）】２，ｌＡ８＝一ＫＥ（川＝－－２口一力·Ｙ·（１一力·以Ｅ（ｗ）为误差能量，口与∥为学习步长，ｄ为期望输出；（４）如果误差能量Ｅ（ｗ１小于某个给定值，则认为网络收敛，此时训练结束；否则ｋ卜ｋ＋ｌ，ｇｏｔｏ（３）。由于超椭球神经网络的输出ｙ＝伊ｌ∑Ⅵ“一形）２一目２ｌ，所以有ｙ∈【ｏ，ｌ】，可以得到这样的结论：当样本点位于超椭球体的表面时，输出为０．５；当样本点位于超椭球体内部时，网络的输出小于Ｏ．５；而当样本点位于超椭球体外部时，网络的输出大于Ｏ．５。所以在训练超椭球神经网络时，对于本类样本而言，应使其期望输出为０；而对于其他类样本而言，应使其期望输出为Ｉ。训练结束时，可以得到超椭球神经网络的参数，即分类器的参数。在检验时，对于检验样本若网络实际输出大于０．５，即样本点位于超椭球体外部，则认为该样本不属于构成超椭球体的样本的那一类；反之，着实际输出小于０．５，此对样本点位于超椭球体内部，则认为该样本属于构成超椭球体的样本的那一类。对于所有Ｋ类样本而言，共需要Ｋ个分类器。对于每个分类器而言，它是由若干个超椭球体连接而成，如图２－３所示。在本文的仿真实验中，构成分类器的每个超椭球由同类的两个训练样本决定，而本类的其他样本并不参加训练。这样，对于每一类样本而言，如果参加训练的样本共有ｃ个，那么该类分类器由（Ｄ１）个超椭球体连接而成。大连理工大学硕士学位论文超椭球神经网络是仿生模式识别理论的应用，它可以避免对未训练样本的高误识率闯题，可以将它用于人脸识别中。由于共有４０类样本，每类５个样本参加训练，所以共需要训练４０个分类器，每类分类器由４个超椭球体连接而成，这样一共需要训练１６０个超椭球神经网络。在训练前，首先对每一类参加训练的５个样本排序，然后按照顺序来训练网络。在训练时，参与构建超椭球体的两个样本和所有其它类样本均参加训练，而本类的其他三个样本不参加训练。下面给出超椭球神经网络用于人脸识别时的训练算法：（１）排序：对于第ｉ（ｊ＝１，２，…，Ｋ）类样本而言，计算其所有Ｃ个参加｛Ｊ１１练样本中每两个样本之间的距离，这样共有ｃ（ｃ－０／２个距离，选取其中的最小值，以构成最短距离的两个样本‘和工，（ｆ，，＝１，２，…，Ｃ）来构建第一个超椭球；计算其余所有样本和薯（或ｘ，）之间的距离，若鼍与ｔ（或ｘ，）之间的距离最小，则以＾与ｔ（或工，）来构建第二个超椭球；然后以以作为基准点，来构建第三个超椭球，以此类推，对于每类样本共可构成Ｃ－１个超椭球；（２）坐标轴旋转：由式∑ｕ（工，一形）２＝ｐ２可知，输入点轨迹是高维空间中一个封闭习‘‘的超椭球，输入样本点的覆盖范围为高维空间中的超椭球体，而且这个超椭球体的各个轴是与各个坐标轴互相平行的。但是在实际训练过程中，由于参与构建超椭球体的两个训练样本的连线通常与坐标轴是不平行的，这就造成了实际训练的超椭球体与期望的不相符。以２维空间为例，如图３．４所示。ｙ‘Ｙ⑧Ｏ（ｇ０／媳口（ａ）（ｂ）图３．４坐标轴旋转前后的超椭球神经网络的覆盏范围（ｃ）Ｆｉｇ．３，４ＴｈｅｃｏｖｅｒａｇｅｏｆｔｈｅＨＥＮＮｂｅｆｏｒｅａｎｄａｆ｝ｅｒｔｈｅｒｏｔａｔｉｏｎｏｆｔｈｅｃｏｏｒｄｉｎａｔｅａｘｉｓ基于神经网络的人脸识别算法研究在图３．４中，点Ａ与点Ｂ代表参与构建超椭球的两个训练样本，我们所需要的显然是图３．４（ａ）中所示的形状；而如果按照翦文所给出的算法来进行训练，那么得到的将是如图３．４（ｂ）中所示的形状；所以在实际中，需要先进行坐标轴旋转，使线段ＡＢ与一个坐标轴平行而与另一个坐标轴垂直，如图３．４（ｃ）所示，这样训练得到的几何形状才为所求。而在实际的人脸识别问题中，所用到的样本特征均为多维的。这样如果想达到预想的效果，仅进行一次坐标轴旋转显然是不够的，此时需要进行多次坐标轴旋转才能够使线段ＡＢ与一个坐标轴平行而与其它所有坐标轴均垂直。如果所用到的特征向量是Ⅳ维的，则需要进行（Ｎ－Ｉ）次坐标轴旋转；（３）Ｎ练：将构建超椭球两个样本的期望输出设置为０，其他类训练样本的期望输出设置为１，本类的其他几个样本不参加训练，ＫｌＪＪＪＩＩ练结束后对于每类样本可得到由ｃ．１个超椭球构成的分类器。若共有足类样本，则需要训练Ｋ×（Ｃ—１）个超椭球神经网络。训练结束后，得到足×（Ｃ—Ｄ个超椭球神经网络，即得到所有足个分类器。检验算法：（Ｉ）计算检验样本在每个分类器的输出，由于每类样本的分类器由Ｃ－１个超椭球体连接而成，所以需要计算检验样本在每个超椭球神经网络中的输出；（２）要判断检验样本是否属于某类，就要看它是否被该类训练样本的覆盖空间所包含：而要判断检验样本是否被某类训练样本的覆盖空间所包含，就要看该样本是否落在该类的Ｃ－１个超椭球体的覆盖范围中。如果检验样本在某个超椭球神经网络的输出小于Ｏ．５，则检验样本落在构建超椭球体的那一类样本的覆盖空间中，否则相反；（３）如果某个检验样本只被一个类别的样本的覆盖空间所包含，则检验样本属于该类；如果不被任何一类样本的覆盖空间所包含，显然此样本被拒识；而如果被两类或两类以上样本的覆盖空间所包含，亦无法断定该检验样本的类别，此时同样对该检验样本拒绝识别。３．２．２人脸识别的纠错ＳＶＭ算法及其实现’文献［２８］和［３５］提出的基于通信中信道纠错编码方法构造出的一种ＳＶＭ多类分类方法即ＥＣＯＣ方法，由于它使用了通信中信道纠错编码解码技术而具有纠错能力，因此这种分类器具有比其它ＳＶＭ多类分类器更好的分类效果。同时对于Ｋ类问题，这种方法仅需要比ｍ－ａｒｙ方法稍多一些的二类分类器（即稍多于ｒｌｏｇ：足１），比一对一方法需要的分类器要少很多，而且其分类精度有所提高。大连理工大学硕士学位论文文献［５１］提出将通信中的ＢＣＨ码用于ＥＣｏＣ方法中，ＢＣＨ码是一种重要的循环码，它可以方便的纠正多个随机错误码。ＢＣＨ码一般用符号（雄，ｋ）来表示，其中ｋ是每组二进制信息码元的数目，以为码长，即编码的总位数，厅一ｋ为监督码元数目（监督位数）。码长以与监督位、纠错个数ｔ之间的关系为：对于任一正整数ｍ，必定存在一个珂＝２”一ｌ，监督位一一ｋ≤ｍｔ，能纠正所有不大于ｆ个随机错误的ＢＣＨ码。因此可以按照系统设计的要求预先设定分类器的纠错能力，来满足系统的要求。鉴于纠错ＳＶＭ具有更高的分类精度，可以将该算法用于人脸识别问题。由于本文中所用的人脸库共有４０类人脸，所以可以用６个信息位来表示。因此对于本文而言，选用（３１，６）的ＢＣＨ码，码长为３ｌ，其中６位是信息位，最小汉明（Ｈ柚珊晒ｇ）距离为１５，最多可以纠正７位错误，这种方法一共需要３１个支持向量机。利用ＢＣＨ码与ＳＶＭ结合的多类ＳＶＭ分类算法可以分为两部分，～是训练算法，二是识别算法蚓。调练算法：（１）对于一个置类问题，首先应该选择合适的码长阼和适当的纠错能力，，根据纠错原理ｎ与，的关系为：ｎ＞－［１０９２ｋ］＋２／＋ｌ；（２）生成码长为露，码间最小汉明距离为２，＋１的ＢＣＨ码；（３）对于每个参加训练的样本所属于的类赋予一个唯一的码字ｃ饭），七＝ｌ，２，…，Ｋ；（４）利用训练样本集ｔ＝｛＠ｃ（七）），七＝ｌ，…Ｘ＞建立１１个训练集《＝｛（刁，巧），彳ｕ巧＝疋，砰ｎ≈＝ｅｐ，ｉ＝１，２…功，其中≈与乏的划分按照如下的规则：对于训练样本Ｇ，ｃ（ｔ”∈Ｃ。如果码字ｃ（Ｋ）的第ｉ位为ｌ，则把该样本放入掣，否则把它放入曩；（５）利用每个集合《训练一个ＳＶＭ，从而获得二值分类函数厂‘（力，每个二值分类函数ｆ‘Ｏ）的理想输出Ｙ按照下列规则获得：当样本伉Ｃ＠））∈五。时，二类分类函数的理想输出Ｙ‘被赋予１，否则被赋予．１：按照上述的学习算法，可以得到ｎ个可以解决二类分类问题的Ｓ、ｑｖＩ，每个ＳＶＭ对应于～个最优分类面。利用上面训练得到的ｎ个ＳＶＭ，就可以对检验样本进行分类了，分类的算法步骤为：（１）输入要被分类的样本工；基于神经网络的＾硷识别算法研究（２）以＜－－０，七＝１，２…，Ｋ；（３）ｆ＋．０；（４）利用第ｆ个ＳＶＭ对输入样本Ｘ进行分类，这样可以得到第ｉ个ＳＶＭ的输出少，∥＝ｆ‘Ｏ）；（５）当夕。＝ｌ时，圪卜圪＋ｌ（凡是ｋ对应的码字ｃ（＿ｉ｝）其第ｆ位为１）；否则当多‘＝－１时，圪卜圪＋１（凡是ｋ对应的码字ｃ（七）其第ｉ位为ｏ）；（６）当ｆ＜ｎ时，ｉ卜ｉ＋１并且ｇｏｔｏ（４），否则ｇｏｔｏ（７）；（７）通过公式七＝ａｒｇｍ鍪Ｋ获得最终的分类结果。在分类算法中采用的是投票（．ｉ｝＝ａ略ｍ琴圪）的方法，它可以按照纠错原理进行纠错。３．２．３基于超椭球神经网络和纠错￥ＶＭ的二次人脸识别算法对于纠错ＳＶＭ方法丽言，由于它利用了通信中的信道差错控制编码技术而具有了一定的纠错能力，因此这种分类器具有更好的分类效果。本文将纠错ＳＶＭ分类器与超椭球神经网络结合起来组成一个二次分类器，并将其用于解决人脸识别问题。基于超椭球神经网络和纠错ＳＶＭ的二次分类方法的结构如图３．５所示。图３．５基于仿生模式识别和最近邻分类器的二次分类方法的块状图Ｆｉｇ．３．５Ｂｌｏｃｋｄｉａｇｒａｍｏｆｔｈｅ似ｏ．ｐ∞ｓｃｌａｓｓｉｆｉｃａｔｉｏｎａｐｐｒｏａｃｈｂａｓｅｄｏｎＢＰＲａｎｄＫＮＮ由图３．５可以看出，基于超椭球神经网络和纠错ＳＶＭ的二次分类方法只是将二次分类器换成了具有较高的正确识别率的纠错ＳＶＭ分类器，从而可能得到更高的正确识别率。同样的，二次分类方法也分为训练和检验两个部分，下面分别给出它们的算法。训练算法：（１）利用全体训练样本，以３．２．１节中的算法来训练超椭球神经网络，随机取每类的５个样本参加训练，这样在训练结束时每类可以得到４个超椭球神经网络，它们一起构成了该类的分类器；而对于所有４０类样本来说，一共可以得到１６０个超椭球神经网络，即４０类分类器；大连理工大学硕士学位论文（２俐用全体训练样本，以３．２．２节中的算法来训练纠错ＳⅥ江分类器，得到纠错ＳＶＭ分类器的参数。训练结束后。得到超椭球神经网络分类器和纠错ＳＶＭ分类器，可以将它们用于检验样本的识别中。检验算法：（１懈全部检验样本送入超椭球神经网络中进行分类，得到中间分类结果珞，完成第一次分类。第一次分类的结果共有三种情况：一是检验样本只被一个分类器所识别；二是检验样本未被任何分类器所识别；第三就是检验样本被两个或两个以上的分类器识别。对于第一种情况，认为对这些样本的分类已经结束，以第一次分类的结果作为它们的最终分类结果：而对于第二和第三种情况，仅使用超椭球神经网络分类器无法得到最终的分类结果，需要对其进行二次分类；（２懈第一次分类中出现的“问题样本”送入已经训练好的纠错￥ＶＭ中进行二次分类，得到这些“问题样本”的二次分类结果；最终的分类结果由两次分类结果所共同决岛零由于第Ｍ－－个分类器会对第一次分类中出现的所有“问题样本”进行二次分类，而且单独使用纠错ｓ、ｎ幢分类器时的正确识别率也相对较高，因而得到正确的分类结果的可能性也较大，所以总的正确识别率可能会比使用最近邻法进行二次分类时有所提高。本文将在下一章中进行仿真实验并给出使用单一分类方法和二次分类方法时的仿真实验结果及分析。基于神经网络的人脸识别算法研究４实验结果与分析本章中将二次识别方法应用于人脸识别，进行了大量仿真实验，同时也对单一的超椭球神经网络和纠错ＳＶＭ方法进行了大量实验，分别统计各种方法的正确识别率（ＣＲＲ）、错误拒识率（ＦＲＲ）和错误接受率（ＦＡＲ）．本文实验所用的是ＣａｍｂｒｉｄｇｅＯＲＬ人脸库，其中共包含４０个人，每人１０幅图像，共４００幅图像。它们有着不同的面部表情，如眼睛是否睁开，表情是否微笑，以及是否戴着眼镜等等。在每次仿真实验中，随机选取每个人的５幅图像（共２００幅）作为训练样本，剩下的２００幅作为检验样本。选取不同的二次分类器可以得到不同的分类器的组合，而不同的特征选取方法也会得到不同的分类结果。在特征提取时，本文分别采用了ＰＣＡ特征和Ｆｉｓｈｅｒ特征；而在二次分类器的选取时，分别采用了最常见的最近邻分类法和纠错ＳＶＭ分类方法。将不同的特征提取方法和不同的分类器互相组合，可以得到多种人脸识别方法。本文对每种方法均了进行ｌＯ次仿真实验，每次实验的训练样本均为随机选取，但不同方法的样本选取方法是相同的（如在每种方法的实验中，都将ｌＯ个样本的前５个用于训练，后５个用于检验），以ｌＯ次实验结果的平均值作为最终结果。４．１由超椭球神经网络和最近邻分类器构成的二次分类方法的仿真实验在本节实验中，首先提取原始图像的ＰＣＡ或Ｆｉｓｈｅｒ特征，得到输入特征向量，将其作为超椭球神经网络的输入进行训练，得到网络参数。按照３．２．１节中的算法来训练分类器，由于每个超椭球神经网络由两个样本点所决定，而每一类参加训练的共有５个样本，所以每一类的分类器由４个超椭球体互相连接而成。而由于共有４０类样本，所以需要４０个分类器，这样就一共需要训练１６０个超椭球神经网络。然后利用得到的分类器对检验样本进行分类得到分类结果。在分类时，判断某个检验样本是否属于某类，只需要考察它是否落在该类训练样本在空间的覆盖范围内即可，如果在该类的空间覆盖范围内，则认为其属于该类；反之则不属于该类。若某个检验样本只落在某一类的空间覆盖范围内，则认为分类结束，判定检验样本属于该类；如果某个检验样本不在任何类别的空间覆盖范围内，则说明它不被任何样本所识别，此时认为该样本被拒识；而如果某个检验样本被两类或两类以上样本的覆盖空间所覆盖，此时无法对该样本进行分类，则同样认为该样本被拒识。表４．１给出了在ＰＣＡ特征下仅利用超椭球神经网络分类器进行识别的仿真实验结果，该结果是用检验样本进行测试获得的，为１０次不同实验的平均结果。大连理工大学硕士学位论文表４．１不同ＰＣＡ特征维数下ＨＥＮＮ方法的仿真实验结果Ｔａｂ．４．１ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙＨＥＮＮｗｉｔｈｄｉｆｆｅｒｅｎｔｎｕｍｂｅｒｏｆＰＣＡｆｅａｍｒｅｓ错误接受率（ＦＡＲ）０．００％０．００‰０．００％０．００％０．００％错误拒绝率（ＦＲＲ）１４．７５％１３．８５％１３．２０％１２．２０％１１．７０％正确识别率（ＣＲＲ）８５．２５％８６．１５％８６．８０％８７．８０％８８．３０％从表４．１中可以看出，超椭球神经网络方法的最大特点就是它的错误接受率非常的低（为ｏ），也就是说对于那些它所能够分类的样本，正确识别率为１００％。这是由于超椭球神经网络方法的理论基础是仿生模式识另Ｂ理论，它可以克服模式空间划分方法对未训练样本的高误识率问题。但这种方法的错误拒绝率却有１Ｉ－１５％左右，从而造成了它的正确识别率并不高，只有８５－８８％左右。这是因为仿生模式识别理论的分类原理是对每类样本在空间的最佳覆盖过程，而不是对模式空间的划分，所以可能会有一部分样本不被任何分类器所覆盖，从而造成拒识；同时由于不同类别样本的空间覆盖范围可能会有重叠区域，检验样本可能会落在重叠区域内，这也造成了对该检验样本的无法识别，此时同样也认为该样本被拒识。本实验是在ＰＣＡ特征下，采用不同的特征维数进行的，可以看出采用超椭球神经网络方法的正确识别率是随着特征维数的增加而提高的，从２０维时的８５．２５％增加到３９维时的８８．３０％，而相应的错误拒绝率则逐渐减少，错误接受率始终保持为０。在使用Ｆｉｓｈｅｒ脸方法时，由于特征数目最大只能为类别数减一，所以特征数目最大为３９。对类间离散度矩阵进行变换时，选取类内离散度矩阵最大的１４０个特征值和它们所对应的特征向量。表４．２不同Ｆｉｓｈｅｒ特征维数下ＨＥＮＮ方法的仿真实验结果Ｔａｂ．４．２ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙＨＥＮＮｗｉｔｈｄｉｆｆｅｍｍｎｕｍｂｅｒｏｆＦｉｓｈｅｒｆｅａｔｕｒｅｓ错误拒绝率（ＦＲＲ）正确识别率（ＣＲＲ）１１．６５％１０．９５％１０．７０％８．２０％８．０５％９１．８０％９１．９５％８８．３５％８９．０５％８９．３０％表４．２给出了Ｆｉｓｈｅｒ特征下仅利用超椭球神经网络分类器进行识别的仿真实验结果。同样的，该结果也是用检验样本进行测试获得的，为１０次不同实验的平均结果，１０次基于神经网络的人脸识别算法研究实验所选取的样本与上一次实验完全相同，本文余下的仿真实验均是在相同条件下进行的，实验结果也均为平均结果，以后不再特别说明。由表４．２可知，采用Ｆｉｓｈｅｒ特征时的正确识别率要比采用ＰＣＡ特征时高出３个百分点左右，而且正确识别率随着特征维数的增加而提高，从２０维特征时的８８，３５ｖ，提高到３９维时的９１．９５％，而由于采用的是Ｆｉｓｈｅｒ特征，所以最大特征维数为类别数减一，在本文中为３９。同样的由于它采用的是超椭球神经网络分类方法，所以它的错误接受率也非常的低（为０），它的错误拒绝率也相对较高，为８一ｎ％左右。在特征数目为３５至３９时，正确识别率变化不大，而且仿真实验具有一定的随机性，所以在实际中通常取最大的特征脸数，即类别数减一。最简单的二次识别方法是将超椭球神经网络分类方法和最近邻分类法相结合。由于在利用超椭球神经网络进行第一次识别时出现了一些“问题样本”，超椭球神经网络分类器无法得到它们的最终分类结果，所以它们的存在对最终的正确识别率有着较大的影响。为了消除它们的影响，我们应用本文的二次分类方法，用最近邻分类器进行第二次分类来解决第一次分类中存在的“问题样本”，使总的识别效果得到改善。表４．３为在不同的ＰＣＡ特征维数下的基于超椭球神经网络和最近邻分类器的二次分类方法的识别效果。表４．３不同ＰＣＡ特征维数下二次分类方法０ｍＮＮ＋ＫＮＮ）的仿真实验结果Ｔａｂ．４．３Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙｔｗｏ—ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄ（ＨＥＮＮ＋ＫＮＮ）ｗｉｔｈｄｉｆｆｅｒｅｎｔｎｕｍｂｅｒｏｆＰＣＡｆｅａｔｕｒｅｓ错误接受率（ＦＡＲ）５．１０％５．０５％３．９０＂，６３．６０％２．５５％错误拒绝率（ＦＲＲ）０．００％０．００％０．００％０．００％０．００％正确识别率（ＣＲＲ）９４．９０％９４．９５５９６．１０％９６．４０％９７．４５％由表４．３可以看出，由于采用了最近邻分类器来进行二次分类，在第一次分类中出现的“问题样本”可以在第二次分类中全部被识别，所以错误拒绝率为０；而由于最近邻方法可自Ｅ会产生错误接受现象，所以总的错误识别率并不为Ｏ；但是可以看出，采用这种二次识别方法的正确识别率已经比仅仅采用超椭球神经网络方法都有了明显的提高，提高了ｌＯ个百分点左右。而且随着特征维数的增加，正确识别率也随之提高，在特征维数为３９时达到最高，为９７．４５％。‘大连理工大学硕士学位论文表４．４不同Ｆｉｓｈｅｒ特征维数下二次分类方法（１１刚Ｎ＋ＫＮＮ）的仿真实验结果Ｔａｂ．４．４Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙｔｗｏ－ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄ（ＨＥｌ州＋ＫＮＮ）ｗｉｔｈｄｉｆｆｅｒｅｎｔｎｕｍｂｅｒｏｆＦｉｓｈｅｒｆｅａｔｕｒｅｓ错误接受率（ＦＡＩｉ）正确识别率（ｃＲＲ）３．２５％２．９５％２．９０％２．７０％２．１０％错误拒绝率（ＦＩｌ助０．００％０．００％０．００％０．００％０．００％９６．７５％９７．０５％９７．１０９６９７．３０％９７．９０％表４．４为不同的Ｆｉｓｈｅｒ特征维数下基于超椭球神经网络和最近邻分类器的二次分类方法的仿真实验结果。与采用ＰＣＡ特征相比，采用Ｆｉｓｈｅｒ特征的二次识别方法有着更高的正确识别率，大约提高了０．５－２个百分点左右。同样的，由于在二次分类中采用的是最近邻分类方法，所以错误拒绝率仍然为０。同时这种方法的正确识别率也随着特征维数的增加而增加，相应的错误识别率也随之减少。在特征维数为３９时，正确识别率达到９７．９０％。４．２由超椭球神经网络和纠错ｓＶＭ分类器构成的二次分类方法的仿真实验选取不同的二次分类器可以得到不同的二次分类方法。一般来说，将单独使用时正确识别率较高的分类器用作二次分类器，可能会解决更多的在第一次分类中遗留下来的“问题样本”，从而得到更好的分类效果。本文将超椭球神经网络和纠错ＳＶＭ相结合构成二次分类器，并对其进行仿真实验。首先对于纠错ＳＶＭ方法，采用的是具有纠错能力的ＢＣＨ码。由于ＯＲＬ人脸库中人脸类别数为４０，用６个信息位就可以表示，所以采用的是（３ｌ，６）的ＢＣＨ码。它的码长为３ｌ，其中有６位是信息位，最小汉明饵ａｍｍｉｎｇ）距离为１５，最多可以纠正７位错误。对于一共有４０类问题的人脸识别而言，这种方法一共需要３１个支持向量机，仅仅需要比ｒＩｏｇ，Ｋ］稍多一些的分类器，比需要Ｋ（Ｋ一１）／２个二类分类器的一对一方法需要的分类器要少很多。表４．５给出了采用ＰＣＡ特征，特征维数不同时仅使用纠错ＳＶＭ分类器进行分类时的识别效果。基于神经网络的入脸识别算法研究表４．５不同ＰＣＡ特征维数下纠错ＳＶＭ方法的仿真实验结果Ｔａｂ．４．５ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙＳＶＭｗｉｔｈＥＣＯＣｗｉｔｈｄｉｆｆｅｒｅｎｔｎｕｍｂｅｒｏｆＰＣＡｆｅａｔｕｒｅｓ错误接受率（ＦＡＲ）５．１０％４．７０％４．６５％４．５５％４．５５％错误拒绝率（Ｆ脓）０．００％０．００％０．００％０．００％０．００％正确识别率（ＣＲＲ）９４．９００５９５．３００５９５．３５％９５．４５％９５．４５％从表４．５中可以看出，在纠错ＳＶＭ方法中，它的错误拒绝率为０，这是因为ＳＶＭ是基于对空间划分的方法，所有的样本均可以被分类，无论结果对错，所以说它的错误拒绝率为０。而且从表４．５中可以看出，随着特征数目的增加，正确识别率也随之增加，在特征数目为３９维时，正确识别率达到最高，为９５．４５％。在使用Ｆｉｓｈｅｒ特征时，首先原始图像经过两次降维过程得到Ｆｉｓｈｅｒ特征，同样的，由于采用的是Ｆｉｓｈｅｒ特征，所以特征的最大维数仍为３９；然后对Ｆｉｓｈｅｒ特征进行编码，并将其送入纠错ＳＶＭ中来训练纠错ＳＶＭ，得到纠错ＳｖＭ分类器的参数，最后将检验样本送入分类器中，进行解码分类，从而得到最终的结果。表４．６给出了在不同的Ｆｉｓｈｅｒ特征维数下仅采用纠错ＳＶＭ方法时的识别效果。表４．６不同Ｆｉｓｈｅｒ特征维数下纠错ＳＶＭ方法的仿真实验结果Ｔａｂ．４．６ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙＳＶＭｗｉｔｈＥＣＯＣｗｉｔｈｄｉｆｆｅⅢａｔｎｕｍｂｅｒｏｆＦｉｓｈｅｒｆｅａｔｕｒｅｓ错误接受率（ＦＡＲ）５．０５％３．５５％３．５０％２．７０ｎ／，２．２５％０．００％９７．７５％错误拒绝率（Ｆ职）０．００％０．００％０．００％０．０００，６正确识别率（ｃＩｉＲ）９４．９５％９６．４５％９６．５０９６９７．３０％从表４．６中可以看出，对于纠错ＳＶＭ分类方法，错误拒绝率仍为Ｏ％。正确识别率为９５．９８％左右，在使用Ｆｉｓｈｅｒ特征时的正确识别率要比使用ＰＣＡ特征时的识别率高出２个百分点左右；而且正确识别率也由２０维时的９４．９５％增加倒３９维时的９７．７５％，这说明随着特征维数的增加，这种方法的正确识别率也是随着增加的，相应的错误识别率则随之减少。对于纠错ＳＶＭ方法而言，由于它利用了通信中的信道差错控制编码技术，因而具有了一定的纠错能力，这样即使几个二类分类器产生了错误的输出结果，但由于具有纠大连理工大学硕士学位论文错机制，这些错误对最终的分类不产生影响，仍然可以得到正确的分类结果，因此这种分类器具有相对较好的分类效果。正是因为纠错ＳＶＭ在单独使用时具有较高的分类精度，所以接下来我们采用纠错ＳＶＭ分类器作为二次分类器，将其与超椭球神经网络结合起来，得到基于超椭球神经网络和纠错ＳＶＭ分类器的二次分类方法，这也是本文所要研究的重点内容。这种方法的识别过程为：首先提取原始人脸图像的ＰＣＡ特征或Ｆｉｓｈｅｒ特征，利用所有训练样本来分别训练超椭球神经网络和纠错ＳＶＭ分类器，得到二者的参数；然后将检验样本送入超椭球神经网络进行检验，得到第一次分类结果％。对于匕中的“问题样本４，将它们送入纠错ＳＶＭ分类器中进行二次识别，从而得到最终的分类结果；而对于在乓中可以被分类的样本，可以认为对其识别已经结束，不需要再进行二次分类，也可以再利用纠错ＳＶＭ分类器再进行二次分类，而最终的分类结果由两次分类的结果共同决定。但在本文中对于％中可以得到分类结果的样本，就认为对它们的分类已经结束，以超椭球神经网络的分类结果作为最终结果，不再对它们进行二次分类了。。表４．７为采用ＰＣＡ特征时，不同维数下的基于超椭球伸迸网络和纠错ＳＶＭ分类器的二次分类方法的仿真实验结果。表４．７不周ＰＣＡ特征维数下二次分类方法（ＨＥＮＮ＋纠错ＳＶＭ）的仿真实验结果Ｔａｂ．４．７Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｂｙｔｗｏ－ｐａｓｓｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄ（ＨＥＮＮ＋ＳＶＭ’ｓｗｉｔｌＩＥＣＯＣ）ｗｉｔｈｄｉｆｆｅｒｅｎｔｎｕｍｂｅｒｏｆＰＣＡｆｅａｔｕｒｅｓ错误拒绝率（Ｆ艘）正确识别率（ＣＲＲ）Ｏ．００％０．Ｏｏ％０．００％０．００％０．Ｏｏ％９８．０５％９８．２０％９８．３０％９８．３０％９８．３０％从表４．７中可以看出，基于超椭球神经网络和纠错ＳＶＭ分类器的二次分类方法的正确识别率均高于９８．００％，这要高于基于超椭球神经网络和最近邻法的二次分类方法，而且要比单纯使用一种分类器如最近邻分类器、超椭球神经网络分类器和纠错ＳＶＭ分类器都有了不同幅度的提高。这种二次分类方法的错误拒绝率始终为０，这也是因为在第二次分类时采用的是纠错ＳＶＭ方法，所以在第一次识别中未能被分类的样本最终均可被纠错ＳＶＭ分类，即无拒识现象的发生；但错误接受率不为０是由于纠错ＳＶＭ方法本身会产生错误识别，所以最终结果会有一定的错误识别率。而同样的，这种二次分基于神经网络的人脸识剐算法研究类方法的正确识别率基本上随着特征维数的增加而提高，在特征维数为３９维时，正确识别率达到最高，为９８．３０％。接下来我们采用Ｈｓｈｅｒ特征来验证基于超椭球神经网络和纠错ＳＶＭ分类器的二次分类方法的分类效果，表４．８给出了不同维数的Ｆｉｓｈｅｒ特征的仿真实验结果。表４．８不同Ｆｉｓｈｅｒ特征维数下二次分类方法ｏ｛卧ＩＮ＋纠错ＳＶＭ）的仿真实验结果Ｔａｂ．４．８ｓｉｍｕＩ商衄螂ＩＩｌ臼ｂｙｔｗｏ－ｐ硒ｓｃｌａｓｓｉｆｉｃａｔｉｏｎｍｃｔｈｏｄ（ＨＤ４Ｎ＋ｓＶＭ’ｓｗ岫ＥＣＯＣ）ｗｉｍｄｉｆｆｅｒｅｎｔｎｕｍｂｅｒｏｆＦｉｓｈｃｒｆｅａｔｕｒｅｓ错误接受率（ＦＡｌｌ）１．４５％１．４５５１．４５％０．９５５０．７５５０。００９６９９．２５％错误拒绝率（ＦＲＲ）０．Ｏｏ％０．００％０．Ｏｏ％０．００５正确识别率（ＣＲＲ）９８．５５％９８．５５％９８．５５％９９．０５％如表４．８所示，采用Ｆｉｓｈｅｒ特征时错误拒识率仍然为０，正确识别率随着特征维数的增加而增加，在特征为３９维时，它的正确识别率达到９９．２５％，而且Ｆｉｓｈｅｒ特征的识别率在总体上要比ＰＣＡ高出１个百分点左右。为了验证不同的单一分类方法，选取不同的二次分类器的二次分类方法以及选取不同特征时的分类器的性能，表４．９分别给出了在特征维数为３９时它们各自的分类结果。表４．９不同特征下不同的分类方法的仿真实验结果Ｔａｂ．４．９Ｓｉｍｕｌｍｉｏｎｒｅｓｕｌ忸ｗｉｔｈｄｉｆｆｅｒ∞ｔｆｅａｔｕｒｖｓ∞ｄｄｉ丘ｂｒｅｎｔｃｌ∞ｓｉｔｉｅｒｓ如表４．９所示，基丁超椭球神经网络和纠锚ＳＶＭ分类器的二次分类方法有着所有给出分类方法中最高的正确识别率。纠错ＳＶＭ分类器的正确识别率比最近邻分类器高出２个百分点左右，这是因为它采用了通信中的信道差错控制编码技术，因而具有了一定的纠错能力，从而得到了更好的分类效果。进而，利用纠错ＳＶＭ方法要比利用最近大连理工大学硕士学位论文邻分类法作为二次分类器的二次分类方法有着更高的正确识别率，这是因为单一的纠错ＳＶＭ分类器会在二次分类中将更多的“问题样本”正确分类。采用基于超椭球神经网络方法和纠错ＳＶＭ分类器的二次分类方法时，不同的特征对识别率的影响也几乎相同，采用Ｆｉｓｈｅｒ特征的识别效果要比采用Ｐ（Ａ特征时更好。而这种方法的正确识别率也是随着特征维数的增加而提高，在特征为３９维时达到最高，为９９．２５％。二次分类方法能获得较高的正确识别率的关键是它对未训练样本的误识率极低，也就是说它所能分类的样本的正确识别率是１０００，６，这一点保证了它能够获得比单一的一次分类方法更高的正确识别率。综上所述，本文的仿真实验结果表明：由最近邻分类法构成的分类器需要的时间最少，它不会产生拒识现象，但是它有大量的误识现象的发生，所以其正确识别率相对较低；采用纠错ＳＶＭ分类方法可以得到较高的正确识别率，而且由于它的分类原理是对模式空间的划分，所以它的拒识率也为０，但是它还是存在一定的误识率；超椭球神经网络方法有着９０％左右的正确识别率，而且由于它的分类原理是对样本的最佳覆盖过程；所以它的错误接受率几乎为０，但是由于可能会有某个样本不被任何分类器所识别，而且有可能会发生某个检验样本被两类或两类以上分类器所同时识别的现象，即产生“问题样本”，所以它会造成较大的错误拒绝率，从而影响正确识别率；而本文中提出的二次分类方法可以将在利用超椭球神经网络识别时产生的“问题样本”送入二次分类器中进行再分类，从而使总的正确识别率得到提高。基于超椭球神经网络和纠错ＳＶＭ分类器的二次识别方法同时具备了它们各自的优点，并能在一定程度上克服二者的缺点，能够得到更高的正确识别率。而且由于第二次分类采用的是纠错Ｓｖｌ讧方法，所以总的错误拒识率为０，而且错误接受率也得到降低。总的来看，这种二次分类方法有着更高的正确识别率，因而取得了“一加一大予二”的效果。４ｌ基于神经网络的人脸识别算法研究５总结与展望人脸识别系统是一种基于图像信息处理的模式识别系统，它主要包括人脸图像的特征提取和模式识别两大部分。特征提取部分是从人脸图像中提取能够反映不同人的人脸差别的有效信息：模式识别部分是对于提取的信息进行模式分类。这两部分的关系是采用级联的形式，最终的分类结果由这两部分共同决定。本文的主要工作如下：（１）对于特征提取部分，本文采用的是ＰＣＡ方法和Ｆｉｓｈｅｒ脸方法。ＰＣＡ方法采用了图像压缩中的一种正交变换一ＫＬ变换，这种变换从能量压缩的角度是最优的。使用ＰＣＡ方法能得到正确识别率只有９０％左右，这是因为ＰＣＡ方法虽然是一种很好的人脸描述方法，但不一定是最好的判别方法。而Ｆｉｓｈｅｒ脸方法的基本思想是将原来高维的模式样本投影到最佳鉴别向量空间，从而使投影后的模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式样本在新的空间有最佳的可分性，因此它是一种有效的模式分析技术。实验结果也表明Ｆｉｓｈｅｒ脸方法有着比ＰＣＡ方法更好的识别效果。（２）对于模式识别部分，本文分别采用了基于仿生（拓扑）模式识别的超椭球神经网络方法和纠错ＳＶＭ分类方法。纠错ＳＶＭ分类方法由于利用了通信中的信道差错控制编码技术，因而具有了一定的纠错能力，这样即使几个二类分类器产生了错误的输出结果，但由于具有纠错机制，这些错误对最终的分类不产生影响，仍然可以得到正确的分类结果，因此这种分类器具有更好的分类效果。实验结果也表明，具有纠错能力的ＳＶＭ分类器的识别效果明显高于最近邻分类器，但由于它的分类原理是对整个样本空间的划分，所以它也会不可避免地产生误识现象。实验结果表明，虽然纠错ＳＶＭ方法的正确识别率相对较高，但它仍有着一定的错误识别率。而超椭球神经网络方法是仿生模式识别理论的应用，与把不同类样本在特征空间中的划分作为目标不同，它以一类样本在特征空间的分布的最佳覆盖作为目标，因此它对未训练样本有着很低的错误接受率（几乎为ｏ）。但由于它的覆盖范围有限，所以可能会有检验样本不被任何类的样本空间所覆盖，从而造成拒识；同时也有可能某个检验样本被两类或两类以上的样本空间所覆盖，因此无法得到最终的分类结果，此时同样认为该样本被拒识。实验结果表明超椭球神经网络的错误拒识率对总的识别率有较大的影响。（３）前面所描述的超椭球神经网络分类方法对未训练样本的误识率极低，也就是说它所能识别的样本的正确率几乎为１００％，但它的错误拒绝率却较高。因此本文提出了一种二次分类方法，将使用超椭球神经网络进行第一次识别后出现的“问题样本”放入二次分类器中进行再分类，从而得到了更好的识别效果。此后本文将超椭球神经网络和具大连理工大学硕士学位论文有纠错能力的ＳＶＭ分类器相结合，得到了一种具有更好识别效果的分类器。它在对未训练样本取得较低误识率的同时，也取得了较高的正确识别率。实验结果表明，采用这种基于超椭球神经网络和纠错ＳＶＭ分类器的二次分类方法可以其它任何一种单一分类器更好的识别效果。本文提出的二次分类方法取得了相对较好的分类效果，但是仍然有一些需要改进的地方：（１）虽然基于超椭球神经网络和纠错ＳＶＭ分类器的二次分类方法有着相对较高的识别率，但由于它要分别训练超椭球神经网络和纠错ＳＶＭ分类器，以及进行二次识别过程，所以其计算量也相对较大；（２）对于人脸库中未出现的样本，本文并没有对它们进行检验。而在实际中对于人脸库中没有的新类别样本的处理应该是首先对其拒绝识别，若同一个新类别的人脸样本多次出现，则产生一个新的类别，并将其纳入人脸库中，这是未来要研究的问题；（３）本文使用的特征是比较常见的ＰＣＡ特征和Ｆｉｓｈｅｒ脸特征，如果采取更为复杂的特征提取方法来得到特征可能会得到更高的正确识别率。而二次分类方法中二次分类器的选取也会对最终的分类效果产生一定的影响；一般来说，单一分类效果较好的分类器作为二次分类器可能获得较好的最终分类效果，这些都是值得研究的问题。目前，人脸识别技术基本上还是处于实验室阶段，但相信随着图像处理、模式识别、计算机视觉以及神经网络等学科的进一步发展，人脸识别技术必将会有更加深入的发展和广阔的应用前景。基于神经网络的人脸识别算法研究参考文献［１］陈绵书，陈贺新，桑爱军．计算机人脸识别技术综述．吉林大学学报（信息科学版）．２００３，２１（５）：１０１—１０９．［２］周杰，卢春雨，张长水等．人脸自动识别方法综述．电子学报．２０００。２８（４）：１０２—１０６．［３］周激流，张哗．人脸识别理论研究进展．计算机辅助设计与图形学学报．１９９９，１１（２）：１８０－１８４．［４］ＺｈｏｕＪＬ．Ａｓｔｕｄｙｏｎａｕｔｏｍａｔｉｃｒｅｃｏｇｎｉｔｉｏｎｓｙｓｔｅｍｆｏｒｈｕｍａｎｐｒｏｆｉｌｅ．ＪｏｕｒｎａｌｏｆＳｉｃｈｕａｎＵｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ［５］ＫａｎａｄＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），１９９４，３１（１）：１００—１０４．ｃｏｍｐｕｔｅｒａｎｄｒｅｃｏｇｎｉｔｉｏｎｏｆＴ．Ｐｉｃｔｕｒｅｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｂｙｈｕｍａｎｆａｃｅ．ＰｈＤＤｉｓｓｅｒｔａｔｉｏｎ．Ｋｙｏｔｏ：ＫｙｏｔｏＵｎｉｖｅｒｓｉｔｙ。１９７３．［６］ＹａｎｇａｎａｌｙｓｉＳＭＨ．ＫｉｒｅｇｍａｎＤＪ，ＡｈｕｉａＮ．ＤｅｔｅｃｔｉｎｇＦａｃｅｓ：ＡＳｕｒｖｅｙ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎｐａｔｔｅｒｎａｎｄｍａｃｈｉｎｅｉｎｔｅｌｌｉｇｅｎｃｅ。２００２，２４（１）：３４—５８．Ｂ．Ｖｉｔａｌ［７］Ｍｉｌｌｅｒｓｉｇｎｓｏｆｉｄｅｎｔｉｔｙ．ＩＥＥＥＳｐｅｃｔｒｕｍ，１９９４。３１（２）：２２—３０．ａ［８］ＤａｕｇｍａｎＪＧ．ＨｉｇｈｃｏｎｆｉｄｅｎｃｅｖｉｓｕａｌｒｅｃｏｇｎｉｔｉｏｎｏｆｐｅｒｓｏｎｓｂｙＴｒａｎｓａｃｔｉｏｎｓｏｎｔｅｓｔｏｆｓｔａｔｉｓｔｉｃａｌＩｎｔｅｌｌｉｇｅｎｃｅ，１９９３，ｉｎｄｅｐｅｎｄｅｎｃｅ．ＩＥＥＥＰａｔｔｅｒｎ＾ｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅ１５（１）：１１４８—１１６１．［９］ＳｕｍａｌＡ，ＩｙｅｎｇａｒＡＰ．Ａｕｔｏｍａｔｉｃｒｅｃｏｇｎｉｔｉｏｎａｎｄａｎａｌｙｓｉｓｏｆｈｕｍａｎｆａｃｅｓａｎｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓｓｕｒｖｅｙ．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，１９９２，２５（１）：６５—７７．［１０］刘艳丽，赵跃龙．人脸识别技术研究进展．计算机工程．２００５，３１（３）：１０－１２．ｎ１］梁路宏，艾海舟．人脸检测研究综述．计算机学报．２００２，２５（５）：４４９－４５８．［１２］ＣａｉＪ，Ｇｏｓｈｔａｓｂｙ凡Ｄｅｔｅｃｔｉｎｇｈｕｍａｎ１９９９。１８（１）：６３—７５．［１３］ＴｕｒｋＭＡ，ＰｅｎｔｌａｎｄＡ．ＥｉｇｅｎｆａｃｅｓｆｏｒＲｅｃｏｇｎｉｔｉｏｎ．Ｊｏｕｒｎａｌｏｆｆａｃｅｉｎｃｏｌｏｒｉｍａｇｅｓ．ＩｍａｇｅａｎｄＶｉｓｉｏｎＣｏｍｐｕｔｅｒ，ＣｏｇｎｔｉｔｉｖｅＮｅｕｒｏ－Ｓｃｉｅｎｃｅ，１９９１，３（１）：７１－８６．［１４］ＢｅｌｈｕｍｅｕｒｃｌａｓｓｓｐｅｃｉｆｉｃＰＮ，ＨｅｓｐａｎｈａＪＰ，ＤａｖｉｄＪＫ．ＥｉｇｅｎｆａｃｅｌｉｎｅａｒＶＳ．Ｆｉｓｈｅｒｆａｃｅｓ：ｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｐｒｏｊｅｃｔｉｏｍＩＥＥＥＴｒａｎｓｏｎＰＡＭＩ，１９９７，１９（７）：７１１—７２０．Ｍａｔｃｈｉｎｇ，ａｎｄＮｅｕｒａｌ［１５３ＺｈａｎｇＪ，ＹａｎＹ，ＬａｄｅｓｌＬｔｈｅＦａｃｅｒｅｃｏｇｎｉｔｉｏｎ：Ｅｉｇｅｎｆａｃｅ，ＥｌａｓｔｉｃＮｅｔｓ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥ，１９９８。８５（９）：１４２２—１４３５．Ｉｔ６］边肇祺，张学工等．模式识别．北京：清华大学出版社，１９９９．［１７］Ｋｉｍ１ｔＣ。ＫｉｍＤＪ。ＳｕｎｇＹＢｅｔａ１．Ｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｔｈｅｓｅｃｏｎｄ—ｏｒｄｅｒｍｉｘｔｕｒｅ—ｏｆ－ｅｉｇｅｎｆａｃｅｓ［１８］ＳｖｅｔｓＯｎｍｅｔｈｏｄ．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ２００４，３７（８）：３３７－３４９．ＤＬ，Ｊｏｈｎ矾Ｕｓｉｎｇｄｉｓｃｒｉｍｉｎａｎｔｅｉｇｅｎｆｅａｔｕｒｅｓｆｏｒｉｍａｇｅｒｅｔｒｉｅｖａｌ．ＩＥＥＥＴｒａｎｓ．ＰＡＭＩ，１９９０，１８（８）：８３１－８３６．［１９］高秀梅，杨静字，杨键．基于复空间中Ｋ—Ｌ变换的人脸识别．计算机应用．２００３，２３（７）：１５一１７．［２０］ＬｉｕＱＳ，ＬｕＨＱ。ＭａＳＴｒａｎｓ．ｏｎＤ．ＩｍｐｒｏｖｉｎｇＫｅｒｎｅｌＦｉｓｈｅｒＤｉｓｃｒｉｍｉｎａｎｔＡｎａｌｙｓｉｓｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ．ＩＥＥＥＰＡＭＩ，２００４。１４（１）：４２—４９．大连理工大学硕士学位论文［２１３ＬｏｏｇＫＤｕｉｎＲＰ，ＵｍｂａｃｈＲｌＬＭａｌｔｉｃｌａｓｓＬｉｎｅａｒＤｉｍｅｎｓｉｏｎｒｅｄｕｃｔｉｏｎｂｙｗｅｉｇｈｔｅｄｐａｉｒｗｉｓｅｆｉｓｈｅｒｃｒｉｔｅｒｉａ．ＩＥＥＥＴｒａｎｓ．ＯｉｌＰ枷Ｉ。２００１，２３（７）：７６２—７６６．【２２］余冰，陈连甫，杜平．利用标准化ＬＤＡ进行人脸识别．计算机辅助设计与图形学学报．２００３。１５（３）：３０２－３０６．［２３］ＭｅｎｇＪＥ，■ｕＳＱ，ＬｕＪｔＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＵｓｉｎｇＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ．ＩＥＥＥＴｒａｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ。２００２，１３（３）：６９７—７１０．ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ：ＡＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋＡｐｐｒｏａｃｈ．［２４］ＳｔｅｖｅＬ，ＧｉｌｅｓＣＬ，ＴｓｏｉＡＣＩＥＥＥＴｒａｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，１９９７。８（１）：９８—１１３．［２５］ＬｉｎｏｎＳＩＩ，Ｋｕｎｇ８Ｙ，ＬｉｎＬＬ．ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ／ＤｅｔｅｃｔｉｏｎｂｙＰｒｏｂａｂｉｌｉｓｔｉｃＤｅｃｉｓｉｏｎＢａｓｅｄｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ．ＩＥＥＥＴｒａｎｓＮｅｕｒａｌＮｅｔｗｏｒｋ．１９９７。８（１）：１１４—１３２．ｔ２６］韩柯，王汇源．基于主元分析和神经网络的人脸识别方法．山东大学学报．２００４，３４（２）：５５—５８．［２７］ＧｕｏＧＤ，ＳｔａｎｚＬ，ＫａｐｌｕｋＣＦａｃｅＲｅｃｏｇｎｉｔｉｏｎａｎｄｂｙＳｕｐｐｏｒｔＶｅｃｔｏｒｌｌ卸ｃｈｉｎｅｓ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ１９６—２０１．ＣｏｎｆｅｒｅｎｃｅＯｎ＾ｕｔｏｍａｔｉｃＦａｃｅＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，Ｇｒｅｎｏｂｌｅ，２０００：［２８］ＫｅｅｒｔｈｉＭａｃｈｉｎｅＳＳ．ＣｏｎｖｅｒｇｅｎｃｅｏｆａｇｅｎｅｒａｌｉｚｅｄＳＭＯａｌｇｏｒｉｔｈｍｆｏｒＳＶＭｃｌａｓｓｉｆｉｅｒｄｅｓｉｇｎ．Ｌｅａｒｎｉｎｇ，２００２。４６（１）：３５１—３６０．ｚＨ，ＭｏＨＹ。ＬｕＨＸｅｔａ１．ＡｍｅｔｈｏｄｏｆＢｉｏｍｉｍｅｔｉｃＰａｔｔｅｒｎｏｎ［２９］ＷａｎｇｒｅｃｏｇｎｉｔｉｏｎｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｍＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅ２００３：２２１６－２２２１．ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｏｒｅｇｏｎ，［３０］ｗａｎｇＳＪ，ＣｈｅｎＸ．Ｂｉｏｍｉｍｅｔｉｃ（Ｔｏｐｏｌｏｇｉｃａｌ）ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ－ＡｎｅｗＭｏｄｅｌｏｆＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎｏｎＴｈｅｏｒｙａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｏｒｅｇｏｎ，２００３：２２５８－２２６２．ＳＪ’Ｃｈｅｎ】（’ＱｉｎＨｅｔａ１．ＤｏｕｂｌｅＳｙｎａｐｔｉｃＷｅｉｇｈｔＮｅｕｒｏｎＴｈｅｏｒｙａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｍｏｎ［３１］ＷａｎｇＴｈｅＦｉｒｓｔＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ，Ｃｈａｎｇｓｈａ，２００５：２６４—２７２．［３２】王守觉，李兆洲，陈向东等．通用神经网络硬件中神经元基本数学模型的讨论．电子学报．２００１，２９（５）：５７７—５８０．［３３］王守觉，徐健，王宪保等．基于仿生模式识别的多镜头人脸身份确认系统研究．电子学报．２００３。３１（１）：Ｉ－３．［３４】王守觉，曲延锋，李卫军等．基于仿生模式识别与传统模式识别的人脸识别效果比较研究．电子学报．２００４，３２（７）：１０５７一１０６１．［３５］Ａｌｌｗｅｉｎ，ＳｉｎｇｅｒＹ．ＲｅｄｕｃｉｎｇＭａｌｔｉｃｌａｓｓｔｏＢｉｎａｒｙ：ＡｕｎｉｆｙｉｎｇＡｐｐｒｏａｃｈｔｏＭａｒｇｉｎＣｌａｓｓｉｆｉｅｒｓ．ＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ．２００１，１（４）：１１３—１４１．ＣｏｎｔｒｏｌＣｏｄｉｎｇ：ＦｕｎｄａｍｅｎｔａｌｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ．ＮｅｗＪｅｒｓｅｙ：［３６］Ｌｉｎ。ＣｏｓｔｅｌｌｏＤＪ．ＥｒｒｏｒＰｒｅｎｔｉｃｅ－Ｂａｌｌ．１９８３：４８—４９．［３７］ＭｏｇｈａｄｄａｍＢ。Ｐｅｎｔｌａｎｄ丸Ｂｅｙｏｎｄｌｉｎｅａｒｅｉｇｅｎｆａｃｅｓ：Ｂａｙｅｓｉａｎｍａｔｃｈｉｎｇｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ．Ｐｒｏｃ．ｏｆ２３０—２４３．Ｉｎｔｌ，ｃｏｎｆ．ｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏ玛Ｎａｒｅ．１９９８：４５基于神经网络的人脸识别算法研究［３８】ＬｉｕＣ工ＥｎｈａｎｃｅｄＩｎｄｅｐｅｎｄｅｎｔｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｔｏｃｏｎｔｅｎｔｂａｓｅｄｆａｃｅｉｍａｇｅ．ＩＥＥＥＴｒａｎｓ．ｏｎＳｙｓｔｅｍｓ，ｍａｎａｎｄｃｙｂｅｍｅｔｉｃｓ，Ｈａｇｕｅ，２００４：１１１７—１１２７．ａ［３９］ＫｉｍＴｌ【’ＫｉｍＨ玑ｈｈｒａｎｇｗＪｅｔａ１．Ｉｎｄｅｐｅｎｄｅｎｔｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓｉｎｏｎｆａｃｉａｌｌｏｃａｌｒｅｓｉｄｕｅｓｐａｃｅ．ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅＮｅｗＹｏｒｋ，２００３：５７９—５８６．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，［４０］ＭａｒｉａｎＩＥＥＥＴｒａｎｓＳＢ，ＪａｖｉｅｒＲｌ‘’ＴｅｒｒｅｎｃｅＪＳ．ＦａｃｅｒｅｃｏｇｎｉｔｉｏｎｂｙＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ．ｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２００２，１３（３）：１４５０－１４６４．ａｎｄａｐｐｌｉｃａｔｉｏｎｓ．ＩＥＥＥ［４１］Ｈｙｖ五ｘｉｎｅ几Ｉｎｄｅｐｅｎｄｅｎｔｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ：ａｌｇｏｒｉｔｈｍｓＯｉｌＴｒａｎｓＮｅｕｒａｌＮｅｔｗｏｒｋｓ。２０００，３（６）：４１１－４３０．ＭＳ．Ｆａｃｅｉｍａｇｅ［４２］ＢａｒｔｌｅｔｔａｎａｌｙｓｉｓｂｙｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｎｄｒｅｄｕｎｄａｎｃｙｒｅｄｕｃｔｉｏｍＰｈｉ）Ｄｉｓｓｅｒｔａｔｉｏｎ．Ｃａｌｉｆｏｒｎｉａ：ＵｎｉｖｅｒｓｉｔｙｏｆＣａｌｉｆｏｒｎｉａ．１９９８．［４３］ＳｍｍｏｎＪｔ［４４］ＦｏｌｅｙＡｎＯｐｔｉｍａｌＤｉｓｃｒｉｍｉｎａｎｔＰｌａｎｅ．ＩＥ髓Ｔｒａｎｓ．Ｃｏｍｐｕｔｅｒ，１９７０，１９（９）：８２６—８２９．０Ｈ。ＳａｍｍｏｎＪ飘ＡｎＯｐｔｉｍａｌＳｅｔｏｆＤｉｓｃｒｉｍｉｎａｎｔｖｅｃｔｏｒｓ．ＩＥＥＥＴｒａｎｓ．Ｃｏｍｐｕｔｅｒ，１９７５，２４（３）：２８１－２８９．［４５］ＥｔｅｍｕｄＫ。ＣｈｅｌｌａｐａＩＬｏｎＦａｃｅｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｄｉｓｃｒｉｍｉａｎｎｔｅｉｇｅｎｖｅｃｔｏｒｓ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ２１４８－２１５１．ＣｏｎｆｅｒｅｎｃｅＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，Ａｔｌａｎｔａ，１９９６，［４６］ＤａｕｂｅｃｈｉｅｓＩ．Ｏｒｔｈｏｎｏｒｍａｌｂａｓｅｓｏｆｃｏｍｐａｃｔｌｙｓｕｐｐｏｒｔｅｄｗａｖｅｌｅｔｓ．ＳＩ＾ｌＩＪｏｕｒｎａｌｏｎＭａｔｈｅｍａｔｉｃａｌＡｎａｌｙｓｉｓ。１９９３，２４（２）：４９９—５１９．［４７］李国正，王猛，曾华军．支持向量机导论．北京：电子工业出版社．２００４．［４８］ＳｉｍｏｎＨ．Ｎｅｕｒａｌｎｅｔｗｏｒｋｓ：Ａｃｏｍｐｒｅｈｅｎｓｉｖｅｆｏｕｎｄａｔｉｏｎ（ｓｅｃｏｎｄｅｄｉｔｉｏｎ）．ＮｅｗＪｅｒｓｅｙ：ＰｒｅｎｔｉｃｅＨａｌｌ，１９９９．［４９］王成波．计算机人脸识别技术的研究．硕士学位论文．大连：大连理工大学，２００５．［５０］程云鹏．矩阵论（第二版）．西安：西北工业大学出版社，２００３．［５１］ＷａｎｇＣＢ，ＧｕｏＣＡ．ＡｓｖＭＣｌａｓｓｉｆｉｃａｔｉｏｎＡｌｇｏＴｉｔｈｍｗｉｔｈＥｒｒｏｒｏｎＣｏｒｒｅｃｔｉｏｎＡｂｉｌｉｔｙＡｐｐｌｉｅｄｔｏＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ．ＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍＮｅｕｒａｌＮｅｔｗｏｒｋｓ．Ｃｈｅｎｇｄｔｌ，２００６：１０５７一１０６２．［５２］ＳｅｂａｌｄＤＪ，ＢｕｃｋｌｅｗＪ尢Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓａｎｄｍｕｌｔｉｐｌｅｈｙｐｏｔｈｅｓｉｓｔｅｓｔｐｒｏｂｌｅｍ．ＩＥＥＥＴｒａｎｓ．ｏｎＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，２００１，４９（１１）：２８５６－２８７２．ｅｔ［５３］Ｓｃｈａｋｏｐｒ，Ｂｕｒｇｅｓ，ＳｍｏｌａＣａｍｂｒｉｄｇｅ：ＭＩＴＰｒｅｓｓ，１９９９．ａ１．ＡｄｖａｎｃｅｓｉｎＫｅｒｎｅｌＭｅｔｈｏｄｓ：ＳｕｐｐｏｒｔＶｅｃｔｏｒＬｅａｒｎｉｎｇ．大连理工大学硕士学位论文攻读硕士学位期间发表学术论文情况［１］袁崇涛，郭成安．基于超椭球神经网络和可纠错支持向量机的二次分类方法在人脸识别中的应用．大连理工大学研究生网络学刊，２００６．１２．学位论文第二章，第三章，第四章．基于神经网络舸入脸识别算法研究致谢本论文是在导师郭成安教授的悉心指导下完成的，从选题、研究、实验，直至论文的最后完成，其中任何一点成绩的取得都离不开郭老师的关怀和点拨。在两年多的研究生生活中，郭老师不仅在学习上对我们耐心指导、严格要求，而且在生活上也给我们很多关心、理解和帮助。郭老师平易近人的生活作风、渊博的学识以及严谨的治学态度将使我终身受益。在此向郭老师致以最真诚的感谢。在两年多的研究生生活中，还得到了李建华老师对我的指导和帮助，在此也致以最真挚的谢意。另外，还要感谢同教研室的所有同学，他们共同给我提供了良好的学习和生活环境。特别是王涛、刘保卫、陈力、刘洋、姚莹、于大雷等几位同学，在两年多的同窗生活中，他们给予了我许多无私的帮助和快乐的回忆。也要感谢已经毕业的师兄师姐们的帮助，特别是王成波和王永辉两位师兄给我的指导和帮助。特别感谢多年来一直关爱和支持我的父母、亲友，他们的无私奉献是我永远难以报答的。最后，向支持和帮助过我的所有人表示谢意。袁崇涛２００６年１２月ｌＯ日４８基于神经网络的人脸识别算法研究

作者：

学位授予单位：

袁崇涛

大连理工大学

1.陈绵书.陈贺新.桑爱军 计算机人脸识别技术综述 2003(05)

2.周杰.卢春雨.张长水.李衍达 人脸自动识别方法综述[期刊论文]-电子学报 2000(4)3.周激流.张晔 人脸识别理论研究进展[期刊论文]-计算机辅助设计与图形学学报 1999(2)4.Zhou J L A study on automatic recognition system for human profile 1994(01)5.Kanad T Picture processing system by computer and recognition of human face 19736.Yang M H.Kiregman D J.Ahuia N Detecting Faces:A Survey 2002(01)7.Miller B Vital signs of identity 1994(02)

8.Daugman J G High confidence visual recognition of persons by a test of statistical independence1993(01)

9.Samal A.Iyengar P Automatic recognition and analysis of human facesand facial expressions:A survey 1992(01)

10.刘艳丽.赵跃龙 人脸识别技术研究进展[期刊论文]-计算机工程 2005(3)11.梁路宏.艾海舟.徐光档.张钹 人脸检测研究综述[期刊论文]-计算机学报 2002(5)12.Cai J.Goshtasby A Detecting human face in color images 1999(01)13.Turk M A.Pentland A Eigenfaces for Recognition 1991(01)

14.Belhumeur P N.Hespanha J P.David J K Eigenface vs.Fisherfaces:recognition using class specificlinear projection 1997(07)

15.Zhang J.Yan Y.Lades M Face recognition:Eigenface,Elastic Matching,and Neural Nets 1998(09)16.边肇祺.张学工 模式识别 1999

17.Kim H C.Kim D J.Sung Y B Face recognition using the second-order mixture-of-eigenfaces method2004(08)

18.Svets D L.John W Using discriminant eigenfeatures for image retrieval 1996(08)19.高秀梅.杨静宇.杨健 基于复空间中K-L变换的人脸识别[期刊论文]-计算机应用 2003(7)

20.Liu Q S.Lu H Q.Ma S D Improving Kernel Fisher Discriminant Analysis for face recognition 2004(01)21.Loog M.Duin R P.Umbach R H Multiclass Linear Dimension reduction by weighted pairwise fishercriteria 2001(07)

22.余冰.金连甫.陈平 利用标准化LDA进行人脸识别[期刊论文]-计算机辅助设计与图形学学报 2003(3)23.Meng J E.Wu S Q.Lu J W Face Recognition Using Radial Basis Function Neural Networks 2002(03)24.Steve L.Giles C L.Tsoi A C Face Recognition:A Convolutional Neural Network Approach 1997(01)25.Lin S H.Kung S Y.Lin L L Face Recognition/Detection by Probabilistic Decision Based on NeuralNetwork 1997(01)

26.韩柯.王汇源 基于主元分析和神经网络的人脸识别方法 2004(02)

27.Guo G D.Stan Z L.Kapluk C Face Recognition by Support Vector Machines 2000

28.Keerthi S S Convergence of a generalized SMO algorithm for SVM classifier design 2002(01)

29.Wang Z H.Mo H Y.Lu H X A method of Biomimetic Pattern recognition for face recognition 200330.Wang S J.Chen X Biomimetic(Topological)Pattern Recognition-A new Model of Pattern RecognitionTheory and Its Application 2003

31.Wang S J.Chen X.Qin H Double Synaptic Weight Neuron Theory and Its Application 2005

32.王守觉.李兆洲.陈向东.王柏南 通用神经网络硬件中神经元基本数学模型的讨论[期刊论文]-电子学报 2001(5)33.王守觉.徐健.王宪保.覃鸿 基于仿生模式识别的多镜头人脸身份确认系统研究[期刊论文]-电子学报 2003(1)34.王守觉.曲延锋.李卫军.覃鸿 基于仿生模式识别与传统模式识别的人脸识别效果比较研究[期刊论文]-电子学报 2004(7)

35.Allwein Singer Y Reducing Multiclass to Binary:A unifying Approach to Margin Classifiers 2001(04)36.Lin Costello D J Error Control Coding:Fundamentals and Applications 1983

37.Moghaddam B.Pentland A Beyond linear eigenfaces:Bayesian matching for face recognition 199838.Liu C J Enhanced Independent component analysis and its application to content based face image2004

39.Kim T K.Kim H W.Hwang W J Independent component analysis in a facial local residue space 200340.Marian S B.Javier R M.Terrence J S Face recognition by Independent Component Analysis 2002(03)41.Hyv?rine A Independent component analysis:algorithms and applications 2000(06)

42.Bartlett M S Face image analysis by unsupervised learning and redundancy reduction 199843.Sammon J W An Optimal Discriminant Plane 1970(09)

44.Foley D H.Sammon J W An Optimal Set of Discriminant vectors 1975(03)45.Etemad K.Chellapa R Face recognition using discriminant eigenvectors 199646.Daubechies I Orthonormal bases of compactly supported wavelets 1993(02)47.李国正.王猛.曾华军 支持向量机导论 2004

48.Simon H Neural networks:A comprehensive foundation 199949.王成波 计算机人脸识别技术的研究[学位论文]硕士 200550.程云鹏.张凯院.徐仲 矩阵论 2003

51.Wang C B.Guo C A A SVM Classification Algorithm with Error Correction Ability Applied to FaceRecognition 2006

52.Sebald D J.Bucklew J A Support vector machines and multiple hypothesis test problem 2001(11)53.Schakopr.Burges.Smola Advances in Kernel Methods:Support Vector Learning 1999

1.学位论文 孟蕊 基于Gabor特征的二次分类法在人脸识别中的应用 2007

人脸识别是模式识别和图像处理领域最前沿的研究课题之一，由于其在司法、公安、安全等领域有着广泛的应用前景，近年来人脸识别受到了广泛的关注。

人脸识别问题涵盖了计算机视觉、神经网络、数字图像处理和模式识别等众多学科，它主要分为三个部分：人脸检测、特征提取和分类器的设计，本文主要研究特征提取和分类器设计两个部分，特征提取是从人脸图像中提取可以用来分类的信息；而分类器的设计部分是利用提取的特征进行识别分类。

本文提出一种基于Oabor特征的二次分类方法，在该方法中对于特征提取部分，采用的是Gabor特征；对于分类器部分，采用了结合仿生模式识别与纠错SVM的二次分类器。本文做了大量的仿真实验，在特征提取部分将Gabor特征与主成分分析法和Fisher脸方法进行对比，分类器部分与最近邻、仿生模式识别、纠错SVM进行比较，二维Gabor函数可以较准确的描述人脑视觉皮层简单细胞的感受野；二次分类器将基于仿生模式识别理论的超椭球神经网络方法与具有纠错能力的SVM方法结合起来，首先使用超椭球神经网络进行第一次分类得到中间结果，再将拒识、多识样本放入具有纠错能力的SVM中进行二次分类。这种方法兼具仿生模式识别和纠错SVM的优点，并可以克服对未训练样本的误识率高的问题，同时也具备纠错SVM方法的纠错能力。因而将Gabor特征与二次分类器相结合具有更好的分类效果。在Cambridge ORL，Yale和AR太阳镜人脸子库，AR围脖人脸子库的仿真实验结果表明，以Gabor特征为输入矢量，应用二次分类方法进行图像识别，正确识别率分别达到了99.75％、99.001％、97.9％、97.62％。

2.学位论文 莫良永 基于GPU的并行人脸识别算法研究 2008

人脸识别是模式识别和图像处理领域最前沿的研究课题之一。由于其在司法、公安、安全等领域有着广泛的应用前景，近年来人脸识别受到了广泛的关注。

另一方面，近年来图形处理器(GPU)高速发展，提高了计算机图形处理的速度，并促进了与计算机图形相关应用领域的快速发展。与此同时，图形处理器绘制流水线的高速度和并行性以及近年来发展起来的可编程功能为图形处理以外的通用计算提供了良好的运行平台，这使得基于GPU的通用计算成为近两三年来人们关注的一个研究热点。

在本文的人脸识别研究中，应用了基于Gabor特征的二次分类方法。该方法中对于特征提取部分，采用的是Gabor小波特征；对于分类器部分，采用了结合仿生模式识别与纠错SVM的二次分类器。二次分类器将基于仿生模式识别理论的HENN方法与具有纠错能力的SVM方法结合起来，首先使用HENN进行第一次分类得到中间结果，再将拒识、多识样本放入具有纠错能力的SVM中进行二次分类，达到了非常高的识别率。但是在Gabor特征提取、超椭球神经网络(HENN)和支持向量机的训练上所花费的时间比较长，对于40个人的ORL人脸库，整个人脸识别系统的训练时间在15分钟左右，对更大型的人脸库(如AR人脸库)时间长达40分钟左右。

针对二次分类法人脸识别系统需要大量的训练时间的不足，本文提出了一种基于GPU并行原理的算法，充分利用GPU并行计算的优势，分别在人脸Gabor特征，超椭球神经网络和支持向量机的训练检验上对算法进行了改进，使之适合于GPU并行计算的优点，将训练和识别过程转化为GPU纹理并行渲染过程，在不影响识别率的前提下，获得了较好的加速效果。

本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1030138.aspx

授权使用：哈尔滨工业大学(hebgydx)，授权号：9ee8abae-a449-4fbb-a3e3-9e0700d18aca

下载时间：2010年10月6日