基于表面肌电信号的手指运动模式识别系统

４ｌＯ　・Ｃｈｉｎｅｓｅ　Ｊｏｕｒｎａｌ　ｏｆＲｅｈａｂｉｌｉｔａｔｉｏｎ　Ｍｅｄｉｃｉｅ，Ｍａｙ　２００８，Ｖｏ１ｎ．２３，Ｎｏ．５　康复医学工程・　基于表面肌电信号的手指运动模式识别系统木　王人成　郑双喜　蔡付文　姜　力　朱德有　刘　宏　李　芳　摘要　目的：建立一套基于表面肌电信号（ｓＥＭＧ）的手指运动模式识别系统。方法：研发了基于有源电极的ｓＥＭＧ检　测装置和包含信号采集、分析、离线识别和在线识别模块的配套软件。结果：该系统能够同时采集４个通道ｓＥＭＧ数　据，用１６种时域、频域和时频域方法对其分析，并可以对７种ｓＥＭＧ特征提取及分类方法进行对比研究，还能在线控　制假手。结论：本系统为多指、多自由度假手ｓＥＭＧ控制方法的研究提供了一个实验平台．该系统不仅可以用于手指　运动模式识别，而且也可以用于人体其他运动模式的ｓＥＭＧ特征提取方法和分类器的对比研究。　关键词表面肌电信号；模式识别：手指运动：多指多自由度假手　文献标识码：Ａ　文章编号：１００１—１２４２（２００８）－０５－０４１０－０３　中图分类号：Ｒ６８，Ｒ３１８。Ｒ４９　Ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ　ｏｆ　ｆｍｇｅｒ　ｍｏｖｅｍｅｎｔ　ｐａｔｔｅｒｎ　ｂａｓｅｄ　ｏｎ　ｓＥＭＧ　ＡＮＧ　Ｒｅｎｃｈｅｎｇ，ＺＨＥＮＧ　Ｓｈｕａｎｇｘｉ，ＣＡＩ　Ｆｕｗｅｎ，ｅｔ　ａｌ√ｙＣｈｉｎｅｓｅ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｅｈａｂｉｌｉｔａｔｉｏｎ　Ｍｅｄｉｃｉｎｅ，２００８，２３（５）：４１０＿一４１２　Ａｂｓｔｒａｃｔ　Ｏｂｊｅｃｔｉｖｅ：Ｔｏ　ｃｏｎｓｔｒｕｃｔ　ａ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ　ｏｆ　ｆｉｎｇｅｒ　ｍｏｖｅｍｅｎｔ　ｐａｔｔｅｒｎ　ｂａｓｅｄ　ｏｎ　ｓＥＭＧ．Ｍｅｔｈｏｄ：Ａ　ｓＥＭＧ－ｄｅｔｅｃｔｉｏｎ　ｄｅｖｉｃｅ　ｂａｓｅｄ　ｏｎ　ａｃｔｉｖｅ　ｅｌｅｃｔｒｏｄｅｓ　ｗｅｒｅ　ｄｅｖｅｌｏｐｅｄ　ａｎｄ　ｓｅｔ　ｕｐ　ａ　ｓｕｐｐｏｒｔ　ｓｏｆｔｗａｒｅ　ｓｙｓｔｅｍ　ｉｎｃｌｕｄｉｎｇ　ｓｉｇｎａｌ－ｓａｍｐｌｉｎｇ，ｓｉｇｎａｌ－ａｎａｌｙｓｉｓ，ｏｆｆ－ｌｉｎｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｏｎ－ｌｉｎｅ　ｒｅｃｏｇｎｉｉｔｏｎ　ｍｏｄｕｌｅｓ．Ｒｅｓｕｌｔ：Ｆｏｕｒ　ｃｈａｎｎｅｌｓ　ｓＥＭＧ　ｓｉｎａｇｌｓ　Ｃａｎ　ｂｅ　ｓａｍｐｌｅｄ　ｓｉｍｕｔａｎｅｏｕｓｌｙ　ａｎｄ　ｂｅ　ａｎａｌｙｚｅｄ　ｂｙ　１６　ｍｅｔｈｏｄｓ　ｏｆ　ｔｉｍｅ　ｄｏｍａｉｎ（ｒｒＤ），ｆｒｅｑｕｅｎｃｙ　ｄｏｍａｉｎ　ａｎｄ　ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ　ｄｏｍａｉｎ．Ｔｈｅ　ｓｙｓｔｅｍ　Ｃａｎ　ａｌｓｏ　ｍａｋｅ　ａ　ｃｏｎｔｒａｓｔｉｖｅ　ｒｅｓｅａｒｃｈ　ｏｎ　７　ａｐｐｒｏａｃｈｅｓ　ｏｆ　ｓＥＭＧ　ｆｅａｔｕｒｅｓ　ｅｘｔｒａｃｔｉｏｎ　ａｎｄ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ．Ｍｏｒｅｏｖｅｒ，ｉｔ　ｈａｓ　ｔｈｅ　ａｂｉｌｉｔｙ　ｏｆ　ｃｏｎｔｒｏｌｌｉｎｇ　ｔｈｅ　ｍｕｌｔｉ－ｆｉｎｇｅｒｅｄ　ｒｏｂｏｔ　ｈａｎｄ　ｏｎ　ｌｉｎｅ．　Ｃｏｎｃｌｕｓｉｏｎ：Ｔｈｅ　ｓｙｓｔｅｍ　ｐｒｏｖｉｄｅｓ　ａｎ　ｅｘｐｅｒｉｍｅｎｔｌ　ｐｌａｔｆａｏｒｍ　ｆｏｒ　ｔｈｅ　ｓＥＭＧ　ｒｅｓｅａｒｃｈｅｓ　ｏｎ　ｍｕｌｔｉ－ｆｉｎｇｅｒｅｄ　ａｎｄ　ｍｕｌｔｉ－　ＤＯＦ　ｐｒｏｓｔｈｅｔｉｃ　ｈａｎｄ　ｃｏｎｔｒｏｌｉｎｇ．Ｉｔ　Ｃａｎ　ｎｏｔ　ｏｎｌｙ　ｂｅ　ｕｓｅｄ　ｔｏ　ｒｅｃｏｇｎｉｚｅ　ｔｈｅ　ｆｉｎｇｅｒ　ｍｏｖｅｍｅｎｔ　ｐａｔｔｅｒｎ　ｂｕｔ　Ｃａｎ　ａｌｓｏ　ｂｅ　ｕｓｅｄ　ｔｏ　ｅｘｔｒａｃｔｉｎｇ　ｓＥＭＧ　ｆｅａｔｕｒｅｓ　ｆｒｏｍ　ｈｕｍａｎ＇ｓ　ｏｔｈｅｒ　ｂｏｄｙ　ｍｏｖｅｍｅｎｔ　ｐａｔｔｅｒｎ　ａｎｄ　ｄｏｉｎｇ　ｃｏｎｔｒａｓｔｉｖｅ　ｓｔｕｄｙ　ｏｎ　ｃｌａｓｓｉｉｅｒ．ｆ　Ａｕｔｈｏｒ　Ｓ　ａｄｄｒｅｓｓ　Ｄｉｖｉｓｉｏｎ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　ａｎｄ　Ｂｉｏｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍ，Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｔｒｉｂｏｌｏｇｙ，Ｔｓｉｎｇｈｕａ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｒｉｎｇ，１０００８４　Ｋｅｙ　ｗｏｒｄｓ　ｓｕｒｆａｃｅ　ｅｌｅｃｔｏｍｙｏｇｒａｐｈｙ；ｐａｔｒｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ；ｆｉｎｇｅｒ　ｍｏｖｅｍｅｎｔ；ｍｕｌｔｉ－ｆｉｎｇｅｒｅｄ　ａｎｄ　ｍｕｌｔｉ—ＤＯＦ　ｐｒｏｓｔｈｅｔｉｃ　ｈａｎｄ　随着科技的进步和人民生活水平的提高。只有　一制是利用模式识别技术从较少通道ｓＥＭＧ中，识别　出能够控制较多自由度的信号。是比较有前途的多　指、多自由度假手控制方法『５１。　为了系统地研究多指、多自由度假手ｓＥＭＧ模　个自由度、只能实现简单张合动作的假手已经不　能满足使用者对假手性能的需求．因此仿人灵巧手　技术被应用于假手的研究。多指、多自由度假手的研　究成为当今各国研究的热点问题…。将灵巧手应用于　假手有两个难点：一是灵巧手的体积和重量过大：一　是控制系统复杂．仿生控制难度大。目前采用高性能　微型驱动器和欠驱动机构等新技术制造的灵巧手已　经接近人手大／］ｘｌ２］．有很多研究机构正在开展利用表　面肌电信号（ｓｕｒｆａｃｅ　ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ，ｓＥＭＧ）１３１、脑　电、语音等信号１４］进行多指多自由度假手的仿生控制　研究。　式识别方法．本研究建立了基于ｓＥＭＧ的手指运动　模式识别系统。　１系统组成和功能　基于ｓＥＭＧ的手指运动模式识别系统由ｓＥＭＧ　检测装置（系统硬件）和系统软件组成。如图１所示，　系统硬件由自行研制的有源ｓＥＭＧ电极、ＵＳＢ接口　基金项目：国家自然科学基金资助项目（５０４３５０４０），国家科技支撑　计划资助项目（２ｏｏ６ＢＡＩ２２ＢＯ３），黑龙江省教育厅资助项目（１５１２２２５）　ｌ　清华大学摩擦学国家重点实验室智能与生物机械分室，北京，　ｌＯｏｏ８４　ｓＥＭＧ控制的假手因其操作简单、实时性和仿　生性好．而得到了广泛的应用。肌电假手控制方式　有：①阈值控制；②比例控制；③模式识别控制。前两　种方法是利用ｓＥＭＧ功率作为控制参数，方法简单，　可靠性高．但是只能适用于单自由度假手或者多关　节上肢假肢的串行或者固定模式控制。模式识别控　２哈尔滨工业大学机器人研究所　３黑龙江工程学院　作者简介：王人成，男，副研究员　收稿日期：２０ｏ７－０６一Ｏ８　维普资讯 http://www.cqvip.com 维普资讯 http://www.cqvip.com

！　！生！　！　塑　竺竺　：　：　！！：翌：　！．二　１２０组数据样本进行辨识，选中需要辨识的数据样　本，单击“辨识”可以对测试样本进行逐个辨识。　２．３　结果及讨论　方差结果。从图中可以看出，具有相对较高的识别率　和较小方差的分类器对应的识别方法为：ＢＰ—ＷＴ、　ＡＲ和ＣＥＰ；ＲＢＦ—ＷＴ和ＣＥＰ；ＳＶＭ—ＷＴ、ＳＴＦＴ和　图２是８名实验对象动作识别正确率的均值和　ＣＥＰ；ＨＭＭ—ＴＩＭＥ、ＣＥＰ和ＳＴｆＴｒ。　１４０　辫　８０　１２０　ｊ１ｌｌｊ　椒　７５　褂　１００磊　７０　８０　特征向量　特征向量　ＢＰ网络　ＲＢＦ网络　２８０　２４０　２００　铸　８０　７５　露　１６０　ｌ２０　７０　特征向量　特征向量　ＳＶＭ网络　ＨＭＭ网络　图２各特征向量识别率的均值及方差比较　本文建立的基于表面肌电信号的手指运动模式　识别系统，主要用于多通道ｓＥＭＧ采集、分析、离线　识别和在线识别，不仅可以用于手指运动模式的识　是增加前臂截肢者实验，使ｓＥＭＧ模式控制技术早　日走出实验室，为截肢者提供高性能的多指、多自由　度假手。　参考文献　［１】王人成．假肢技术的研究热点及发展趋势ｆＪ】．中国康复医学杂　志，２００５，２０（７）：４８３．　别，而且也可以用作人体其他运动模式ｓＥＭＧ特征　提取方法和分类器的对比研究。　本研究利用上述ｓＥＭＧ平台进行了很多的手指　运动模式识别实验，并且与哈尔滨工业大学开发的　ＨＩＴ　ＡＲ—Ｉ型（有ｌ４个关节）和Ⅱ型（有ｌ３个关节）　两种欠驱动５指３自由度仿人假手原型样机进行了　在线识别与控制实验。在实验中发现，识别率、识别　结果稳定性及对识别算法敏感性的个体差异性比较　大。因此，在下一步的工作中，不仅要继续寻找识别　［２】Ｈｕａｎｇ　Ｈ，Ｊｉａｎｇ　Ｌ，Ｚｈａｏ　ＤＷ，ｅｔ　ａ１．Ｔｈｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　ｏｎ　ａ　ｎｅｗ　ｂｉｏｍｅｃｈａｔｒｏｎｉｃ　ｐｒｏｓｔｈｅｔｉｃ　ｈａｎｄ　ｂａｓｅｄ　ｏｎ　ｕｎｄｅｒ—ａｃｔｕａｔｅｄ　ｍｅｃｈａｎｉｓｍ『Ｃ】．ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆ．ｏｎ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｒｏｂｏｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ．ＮＪ：ＩＥＥＥ　Ｐｒｅｓｓ．２００６：３７９ｌ一３７９６．　［３】李芳，王人成，姜力，等．基于隐马尔可夫模型一径向基神经网络　的表面肌电信号识别　．中国康复医学杂志，２００６，２１（１１）：ｌ０ｌ６一　ｌ０ｌ８．　宋超，姜力，赵大威，等．基于ＳＰＣＥ０６ｌＡ的多自由度假手语音控　制系统的研究ｆＪ】．机械与电子，２００６，（１　ｏ１：４０—４２．　［５】姜明文．肌电假手触滑觉反馈技术的研究［Ｄ】．北京：清华大学，　２００６．　率高、个体适应性强的ｓＥＭＧ识别算法．而且还要探　讨如何通过肌肉训练来提高ｓＥＭＧ的可分性．尤其　ｆ６】王敬章．表面肌电信号检测系统及在手指动作辨识中的应用　ｆＤ】．北京：清华大学，２００５．　（上接４０５页）　［３】Ｅｄｍｕｎｄｓｏｎ　Ａ，ＭｃＩｎｔｏｓｈ　Ｊ，Ｃｏｇｎｉｔｉｖｅ　ｎｅｕｒｏｐｓｙｃｈｏｌｏｇｙ　ａｎｄ　ａｐｈａ—　ｓｉａ　ｔｈｅｒａｐｙ：ｐｕｔｔｉｎｇ　ｔｈｅ　ｔｈｅｏｒｙ　ｉｎｔｏ　ｐｒａｃｔｉｃｅ．Ｉｎ：Ｃｏｄｅ　Ｃ，　Ｍｕｌｌｅｒ　Ｄ，Ｅｄｓ．Ｔｈｅ　Ｔｒｅａｔｍｅｎｔ　ｏｆ　Ａｐｈａｓｉａ　Ｆｒｏｍ　Ｔｈｅｏｒｙ　ｔｏ　Ｈｅａｒｉｎｇ　Ｒｅｓｅａｒｃｈ，ｌ９９９．４２：９７２－－９８９．　【７】张清芳，杨玉芳．言语产生的认知神经机制ｌＪ】．心理学报，　２００３．３５（２）：２６６—２７３．　Ｐｒａｃｔｉｃｅ［Ｍ】．Ｌｏｎｄｏｎ，ＵＫ：Ｗｈｕｒｒ　Ｐｕｂｌｉｓｈｅｒｓ　Ｌｔｄ，１９９５．１３７一　ｌ６４．　【８】熊汉中，柏晓利，韩在柱，等．失语症患者图形命名中语音错误的　产生机制『Ｍ１．中国临床康复，２００４，８（１３）：４９０－－４９１．　『９１　Ｂｉｅｄｅｒｍａｎｎ　Ｂ，Ｂｌａｎｋｅｎ　Ｇ。Ｎｉｃｋｅｌｓ　Ｌ．Ｔｈｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　［４】　Ｓｕｚａｎｎｅ　ｊｃ，Ｄｏｅｓｂｏｒｇｈ　ＭＡ，Ｍｉｅｋｅ　ＷＥ，ｅｔ　ａ１．Ｅｆｆｅｃｔｓ　ｏｆ　ｓｅｍａｎｔｉｃ　ｔｒｅａｔｍｅｎｔ　ｏｎ　ｖｅｒｂａｌ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ａｎｄ　ｌｉｎｇｕｉｓｔｉｃ　ｐｒｏｃｅｓｓｉｎｇ　ｉｎ　ａｐｈａｓｉａ　ａｆｔｅｒ　ｓｔｒｏｋｅ：Ａ　ｒａｎｄｏｍｉｎｚｅｄ　ｃｏｎｔｒｏｌｌｅｄ　ｈｏｍｏｐｈｏｎｅｓ：Ｅｖｉｄｅｎｃｅ　ｆｒｏｍ　ｒｅｍｅｄｉａｔｉｏｎ［Ｊ】．Ａｐｈａｓｉｏｌｏｇｙ，２００２，　１６（１０／１１、：１ｌ　ｌ５一ｌ　ｌ３６．　『ｌ０１　Ｈｏｗａｒｄ　Ｄ，Ｐａｔｔｅｒｓｏｎ　ＫＥ，Ｆｒａｎｋｌｉｎ　Ｓ，ｅｔ　ａ１．Ｔｈｅ　ｔｒｅａｔｍｅｎｔ　ｏｆ　ｗｏｒｄ　ｒｅｔｉｅｖａｒｌ　ｄｅｆｉｃｉｔｓ　ｉｎ　ａｐｈａｓｉａ：Ａ　ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｔｗｏ　ｔｒｉａｌ［Ｊ］．Ｓｔｒｏｋｅ．２００４．３５：ｌ４ｌ一１４６．　［５】　Ｂｕｔｔｅｒｗｏｒｔｈ　ＢＬ，Ｈｏｗａｒｄ　Ｄ，ＭｃＬｏｕｇｈｌｉｎ　ＰＪ．Ｔｈｅ　ｓｅｍａｎｔｉｃ　ｄｅｆｉｃｉｔ　ｉｎ　ａｐｈａｓｉａ：Ｔｈｅ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎ　ｓｅｍａｎｔｉｃ　ｅｌＴＯｒｓ　ｉｎ　ａｕｄｉｔｏｒｙ　ｃｏｍｐｒｅｈｅｎｓｉｏｎ　ａｎｄ　ｐｉｃｔｕｒｅ　ｎａｍｉｎｇ￣Ｊ】．Ｎｅｕｒｏｐｓｙｃｈｏｌｏｇｉａ，　１９８４．２２：４Ｏ９—４２６．　ｔｈｅｒａｐｙ　ｍｅｔｈｏｄｓ［Ｊ］．Ｂｒａｉｎ．１９８５．１０８：８　ｌ７—８２９．　［１ｌ】罗常培，王均著．普通语音学纲要（修订本）［Ｍ】．北京：商务印　书馆．２００２．１７．　【６１　Ｄｒｅｗ　ＲＬ，Ｔｈｏｍｐｓｏｎ　ＣＫ．Ｍｏｄｅｌ—ｂａｓｅｄ　ｓｅｍａｎｔｉｃ　ｔｒｅａｔｍｅｎｔ　ｆｏｒ　ｎａｍｉｎｇ　ｄｅｆｉｃｉｔｓ　ｉｎ　ａｐｈａｓｉａ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ，ａｎｄ　［１２】彭聃龄主编．汉语认知研究［Ｍ】．济南：山东教育出版社，１９９７．９．