不同个性的情感机器人表情研究
2023-10-21
来源:易榕旅网
第12卷第4期 2017年8月 DOI:10.1 1992/tis.201609005 智能系统学报 Vo1.12 No.4 Aug.2017 CAAI Transactions Oil Intellizent Systems 网络出版地址:http://kns.cnki.net/kcms/detail/23.1538.tp.20170606.0951.002.html 不同个性的情感机器人表情研究 柯显信,云亚文,邱本锐 (上海大学机电工程与自动化学院,上海200072) 摘要:在情感机器人研究中,不同个性的面部表情是情感机器人增强真实感的重要基础。为实现情感机器人更加 丰富细腻的表情,将人类的个性特征引入情感机器人,分析个性理论和情感模型理论,得知不同个性机器人的情感 强度。结合面部动作编码系统中面部表情与机器人控制点之间的映射关系,得到情感机器人不同个性的基本表情 实现方法。利用Solidworks建立情感机器人脸部模型,在ANSYS工程软件中将SHFR—HI情感机器人脸部模型设置为 弹性体,通过有限元仿真计算方法,对表情的有限元仿真方法进行了探究,得到实现SHFR—m不同个性基本表情的控 制区域载荷大小和仿真结果。最后,根据仿真结果,进行SHFR—llI情感机器人不同个性的表情动作实验。实验结果 表明,有限元表情仿真可以指导SHFR—m情感机器人实现近似人类的不同个性的基本面部表情。 关键词:情感机器人;面部表情;情感模型;个性;人脸模型;弹性皮肤;有限元仿真;控制区域 中图分类号:TP242文献标志码:A文章编号:1673-4785(2017)04-0468—07 中文引用格式:柯显信,云亚文,邱本锐.不同个性的情感机器人表情研究[J].智能系统学报。2017。12(4):468—474. 英文引用格式:KE Xianxin,YUN Yawen。QIU Benrui.Research on expressions ofthe Humanoid robot based on personalities[J]. CAAI transactions on intelligent systems。2017,12(4):468—474. Research on expressions of the Humanoid robot based on personalities KE Xianxin,YUN Yawen,QIU Benrui (School of Mechatronics Engineering and Automation,Shanghai University,Shanghai 200072,China) Abstract:In humanoid robot research,the facial expressions of different personalities are an important basis for enhancing the realism of humanoid robots.To achieve more vivid emotional expression by robots,in this paper,we introduce human personality characteristics into robots。based on the personality and emotional model theories.and determine the emotional intensity of robots with different personalities.By mapping the relationship between facial expressions and robot control points in the facial action coding system,we obtained a basic expression implementation method for humanoid robots with different personalities.We used Solidworks software to establish the facial model for the emotional robot and set the model as all elastomer in ANSYS.Using the finite element simulation calculation method,we explored its expression capabilities.and obtained the load sizes of the control regions that realize basic expressions in the humanoid robot SHFR—m and simulation results.Based on these simulation results,we conducted expression experiments with the humanoid robot SHFR.m for different personalities.Our experimental results show that these simulation results can guide the humanoid robot SHFR—IlI to achieve basic humanlike facial expressions associated with different personalities. Keywords:humanoid robot;facial expressions;emotion model;personality;facial model;elastic skin;finite element simulation;control regions 情感机器人是当今机器人研究领域的热点问 题,随着人类社会逐步进入老龄化社会,情感机器 人研究的智能效率性、行动灵活性和人际交往性等 进入人类的日常生活,它们在家政服务和医疗等方 面已经代替了人类的部分工作 J。并且,越来越多 的仿人情感机器人相继问世,这些机器人不仅有人 类的外表,还具有与人类相似的面部表情,几乎可 功能变得越来越有价值。现如今,机器人已经开始 以像人一样交流 J。 收稿日期:2016—09-07. 网络出版日期:2017—06—06 基金项目:国家自然科学基金项目(61273325). 通信作者:柯显信.E.mail:xxke@staff.shu.edu.Cl'1. 2008年,英国布里斯托尔机器人学实验室研制 出了仿人机器人Jules_3 J,该机器人拥有34个电动 第4期 柯显信,等:不同个性的情感机器人表情研究 机,这些电动机被软性橡胶所覆盖,可以实现人类 面部表情和嘴唇运动,模仿人类常见的10种面部表 表1 4种个性类型 情。2011年,哈尔滨工业大学研制了一款能实现表 情识别和表情再现的仿人机器人_4J,该机器人具有 眼球、眼睑、下颚和表情机构驱动系统,可以实现7 种不同特征的面部表情。2014年,日本大阪大学机 器人研究所所长石黑浩设计了女播音员机器人 “Kodomoroid”[5-6],该机器人的皮肤采用的是硅树 脂材料,并且还配置了人工肌肉。该机器人在与人 交流时,嘴唇和眉毛都会动,还会眨眼、左顾右盼等。 虽然国内外在仿人情感机器人方面取得了 非常可喜的成果,但是目前大多数表情机器人再 现的人类表情,看起来还是十分简单、粗糙,远没 有人类的面部表情丰富、细腻,很难跨越仿人情 感机器人研究中的“恐怖谷”理论 卜 。本研究 希望通过让机器人在情感交互过程中表现出个 性特点,增强表情动作的真实感,帮助情感机器 人跨越“恐怖谷”,提高人们对仿人表情机器人的 接受度。 1 不同个性的情感模型 1.1个性类型 英国著名心理学家H.J.Eysenck_9 对人的个性 做了深入研究,提出了个性维度理论。他指出,个 性维度是一个连续的尺度,每个人的个性都是这些 个性维度的组合。他曾提出5个个性维度:外内向、 神经质、精神质、智力和守旧性,但最主要的个性维 度是外内向和神经质。 外内向又可细分为外向型和内向型。外向型 的人个性上具体表现为情绪冲动、好交际、爱发脾 气等;内向型的人个性上具体表现为情绪稳定、好 静、冷淡、极少发脾气等。神经质又称情绪性,情绪 稳定的人情感反应缓慢而且轻微,情绪不稳定的人 通常表现出高焦虑,而且容易激动。 Eysenck认为外内向和情绪性是两个互相垂直 的维度,以这两种个性维度建立坐标系,可以组成4 种非常具有代表性的个性类型:多血质(稳定外向 型)、黏液质(稳定内向型)、胆汁质(不稳定外向型) 和抑郁质(不稳定内向型),表1列出了4种个性类 型不同的性格表现。 Table 1 Four types of personalities 1.2个性与OCC情感模型结合 OCC情感模型是人类情感研究过程中最完整 的情感模型之一_l ,它是用一致性的认知导出条件 来表达情感的,在该模型中,假设情感是对事件或 对象产生的情势倾向反应 。首先设置一些函数, 设D(p,e,t)表示人物P在t时刻对事件e的期望 值,正值表示结果符合人物的期望。设lg(p,e,t)表 示全局强度变量(例如现实、接近度)的一种组合, Pj(p,e,t)表示产生“高兴”(以高兴为例)的潜力。 当D(p, ,t)>0时,设 Pj(P,e,t)= [D(p,e,t), (p,e,t)] (1) 式中 [・]表示将高兴具体化的函数。 式(1)可以表示产生高兴情绪的潜力,但不能 用来表示产生“高兴”情感的强度。所以定义: 当 (p,e,t (p,t),则有 ‘(p,e,t)=P,(p,e,t)一 (p,t) (2) 否则 (P,e,t)=0 (3) 式中: 为阀值函数, 为情感强度函数。 通过式(1)一(3)可知,当外界刺激产生的“高 兴”状态潜力超过阀值时,人就产“高兴”情绪,外界 刺激越强烈,高兴的强度就越大。剩余的5种基本 表情计算规则与此相同,只需改变相应的潜力函数 P(・)即可。不同个性的人,其阀值函数自然就不 同,比如内向的人情绪稳定,其情感阀值就大些。 由此可知,不同个性的人对相同事件或对象产生的 情感强度不同。 2面部表情实现原理 根据美国心理学家Ekman和Friesen提出的面 部动作编码系统(facial action coding system, FACS) 引,人的面部表情主要由24个动作单元 智能系统学报 第12卷 (action unit,Au)控制生成,而实现人类的6种基本 表情:喜、怒、哀、乐、惊、怕,只需要其中的14个AU 单元。表2列出了FACS理论中的部分动作单元, 表3列出了6种基本表情与Au动作单元之间的控 制关系。 表2 FACS的动作单元 Table 2 FACS action units 表3基本表情与AU的关系 Table 3 The relationship between ba萄c expressions and AU 表情 AU 高兴 悲伤 惊奇 1+2+5+26 恐惧 1+2+4+5+7+20+25.26 愤怒 4+5+10+25 厌恶 4+9+17 根据表2、3研究可以得出,只要能够实现表2 中的14个Au单元,便可控制生成仿人机器人的面 部表情。根据仿生学原理,在仿人机器人的面部添 加多个控制点,仿人机器人面部控制点将根据人类 面部肌肉的特点来布置。眉毛上布置两个控制点, 眼部的上眼睑布置一个控制点,嘴部的嘴角和上下 嘴唇布置4个控制点。仿人机器人面部表情控制点 的详细分布情况如图1所示 ]。 图1面部表情控制点分布 Fig.1 Distribution of facial expression control points 3 情感机器人不同个性的表情仿真 本节通过建立人脸模型,赋予其类似人体皮肤 的材料力学参数,然后采用ANSYS有限元仿真分析 的方法进行不同个性的面部表情仿真,得到不同个 性的面部表情仿真结果,并列出面部控制区域的载 荷和位移。 3.1面部表情模拟仿真过程 3.1.1 面部弹性体模型的建立与设置 根据三维人脸建模技术,按照与SHFR—Ill 1:1 的比例建立仿人机器人的人脸模型。由于人类面 部特征曲面形状非常复杂,建模难度大,这里采用 Solidworks强大的曲面设计功能建立人脸模型。利 用Solidworks曲面特征,结合3一D草图功能首先绘 制出人体面部的器官,如眉毛、眼睛、鼻子和嘴巴, 然后再逐渐向边界扩展,直至拼接出一张完整的人 脸曲面,最后将所有曲面缝合在一起,这样就建立 了人脸曲面模型。 通过ASNSYS与Solidworks软件的自动接口程 序,将人脸曲面模型导入ANSYSl1引。为力求仿真结 果真实可靠,在ANSYS中将人脸曲面模型设置为接 近人体皮肤的厚度。考虑到材料不会发生大的应变 情况,这里将人脸模型简化设置为普通线弹性模型。 本研究中赋予人脸模型的材料属性为:弹性模量为 7 840 Pa,泊松比为0.475,密度为1 200 kg/m ,各向 同性¨ 。图2为面部皮肤弹性体模型及其尺寸。 图2面部皮肤弹性体模型及尺寸 F .2 Model and size of facial skin elasticity 第4期 flJ『 信,等:不同个性的情感机器人表情研究 3.1.2仿真前处理 3.2仿真结果 网格划分是有限元分析中至关重要的一步,网 格划分质量的好坏直接影响有限元分析结果是否 收敛及仿真结果的正确与否。由于面部皮肤弹性 本 选择特征鲜明且具有对比性的两种綦本 表情:高兴和愤怒来进行仿真分析。 首先确定出各控制区域在各种基本表情中的 体模 主要由复杂曲面缝合而成,这里采用四边形 为主导的网格划分方式。为达到更加逼真的仿真 效果,还需要对面部表情的主要控制区域进行网格 细化 、通过研究人类的基本表情,得知人类的表情 生成主要依靠眉毛、眼睛、嘴部器官。利用ANSYS 中的曲面分割工具将人脸模型中的这些器官区域 分割出来,然后进行局部网格细化,完成人脸模 的网格划分 、图3为人脸模型的刚格划分。 图3网格划分 Fig.3 Meshing 利川ANSYS中的曲面分割功能,在面部曲面模 型叶I的眉毛、眼睑、嘴部位置分割出表情的控制 域,綦本表情控制 域如冈4中的A~J区域所示。 图4表情控制区域分布 Fig.4 Distribution of expression control areas 约束和裁荷是ANSYS仿真计算的边界条件,根 据面部解剖学理论本研究将面部皮肤与头骨之间 的连接部位作为同定约束条件,主要部位为面部皮 肤边 、太刚穴和j-鼻骨,奠n 5所示、、然后在图4 中的表情控制 域添加不同的力载简。 图5模型约束条件 Fig.5 Model constraints 运动范围,然后根据第l节中不同个性的情感模型: 人的个性不同,对相同的刺激产生的情感强度也不 同,所以需要在各控制区域施加不同大小的力载 荷,以获得情感强度不同的基本表情仿真结果。 根据表1巾4种个性类型的性格表现,可以判 断出这4种个性类型在高兴和愤怒时情感阀值 的 大小,进而可以判断情感强度的强弱 当臻本表情 为高兴时,4种个性类 的情感阀值 的大小为黏 液质>抑郁质>多血质>肌汁质,则情感强度的强弱 为黏液质<抑郁质<多Ⅱ『L质<胆汁质;当基本表情为 愤怒时,4种个性类型的情感阀值7 的大小为黏液 质>多血质>抑郁质>肌汁质,则情感强度的强弱为 黏液质<多血质<抑郁质<胆汁质 表4高兴时面部控制区域力载荷 Table 4 Force loads of face control areas when happy N 根据4种个性类型高兴和愤怒表情的强弱大 小,在人腧模型的控制 域的运动范同内…/],Y:ll大 逐点取值。通过反复试验,得到仿真表情最接近人 类表情的仿真结果和其对应的面部控制 域的力 载荷。表4为高兴时4种个性类型各控制f)(域的力 载荷,图6为对应的高兴表情仿真结果;表5为愤怒 时4种个性类型各控制区域的力载荷, 7为对应 的愤怒表情仿真结果。 (a滔l液质 h)抑郁顷 图6高兴表情仿真结果 Fig.6 Happy expression simulation results 表5愤怒时面部控制区域力载荷 Fable 5 Force loads of face control areas when angry 1 2荡 图7愤怒表情仿真结果 Fig.7 Angl’)expression sinmlation results 为验证仿人机器人小同个性面部太情的仿真 结果,以上海_人学精密机械系的面部表情机 人 StIFR一Ⅲ为实验半台 ,陔表情机器人的机做结构 采用模块化 汁,分为岿E机构、眼部机构干¨嘴部 机构,各个机构都添加r控制单元,殳¨ 8所 , j l冬{4中的控制 域埘 任机械结构的 础l , SttFR—llI的面部添 皮快.皮肤材料选择接近人体 皮肤性能的硅胶材料.将皮肤附d- ̄)L 人 部“,蹦, 架”上,并将硅胶皮肤 j控制 元联接..sHFR Ⅲ以 FPGA控制板作 核心控制元件,通过上他机控制 驱动控制单元的舵机,从而驱动两部皮肤 上唇拦 圈8 SHFR—llI实验平台 Fig.8 SHFR—lⅡexperiment platform 首先对不同个悱的高兴表情进行动作实验.通 过【 位饥控制舵机转动,牵引面部皮H欠控制 、 运 动,实现不『州个性FI j ̄. .j。必 部表情,实验结 9 所示。同样,埘 Ft-:的愤怒表情进行动f1 实 验,实验结果 l0所求 、 实验结果表fJ』],陔【 部表情机器人 以实 小 M个性的基小 部表情,验证 仿真结果 第4期 f『lJ 信,等:不同个性的情感机器人表情研究 ・473・ 情研究[J].华中科技大学学撤:自然科 版,20l3.Sl: 352-355. I U Zhen,XIE Lun,HAN Jing,el,a1.Restart・h Oil litlnlall()i(1 robot expressions I)ased on nl(JO(I control[¨. Journal of Huazhong university of sclell(’P till(1 te(・Imoh)gv. .2013,S1:352—355. [3]DEIAUNAY F,liE(,REEFF J,BEIPAEME r. rowar(1s I.etro— projected robot faces:an ahemative to mechatmni(-and (a)黏液质 (b)目R汁质 android faces[C]//The 18th IEEE International Syml ̄)sitlm on Robot and Human Interactive Comnmnication. royamaJapan, ,图9不同个性高兴表情实验 Fig.9 Happy expression experiment of diferent personalities 0O9:306-31l。2 [4]李瑞峰,孙中远, 珂,等.具有面部表情识别卜jf}i_现的 机器人头部系统的研制[J].机械设汁与制造.201l (7):95—97. I I Ruifeng,SUN Zhong)'uan.WANG Ke。el a1.Research ot’ the robot head system with facial expressi()n re( ogni!i(m and representation[J].Machinery(1esign and Inanufat tin 2011(7):95—97. [5]BECKER ASANO C,ISHIGURO H.Evaluating fa(・ial (a)黏液质 (b)胆汁质 displays of emotion for the android robot Geminoid F 图10不同个性愤怒表情实验 Fig.10 Angry expression experiment of different personalities [c]//IEEE Workshop on Affective Comlml,ationa[ Intelligence(WACI).2014:1—8. [6]BECKER—ASANO C,ISHIGURO H.Evaluating facial 5 结束语 通过对爪.性理论和情感模型的研究,得到了不 同个性的基本表情实现方法。然后采用ANSYS有 限元仿真计算的方法,通过对面部弹性体模型施加 displays Of emotion )1.the android robot Geminoid F [C]//IEEE Workshop tm Affective Computational Intelligence f WACI).20I】:1—8. [7]恐怖谷理论.[2016—07—24].http://zh.wikipedia.t)r zh— cn/恐怖谷理论. [8]ISHIHARA H,YOSHIKAWA Y,ASADA M.Realistk’ child robot“Affetto”for understanding the caregiver一(、hiht attachment relationship that guides the child develop,nent 约束和载荷,求解出不同个性的高兴和愤怒表情的 近似于人类的仿真结果,并得到厂实现不同个性的 高兴和愤怒表情的控制区域载荷大小。根据仿真 结果中各控制区域的位移大小,进行不同个性的表 情动作实验,实验结果表明,表情机器人可以实现 不同个性的高兴和愤怒面部表情 由于受具体条 件限制,表情机器人控制单元的位移不能与仿真模 型中的控制区域完全相同,不同个性的基本表情不 [c]//20 1 l IEEE International Conference OIl Devehipmenl, and Learning(ICDL).Frankfurt am Main.【; many, 201 1:1—5. [9]叶奕乾,孔克勤,杨秀君.个性心理学[M].3版.上海: 华东师范大学出版社,2010:106—132. 能更好的体现,但为进一步研究仿人表情机器人提 供了较好的技术基础。 [10]杜坤坤,刘欣,王志良,等.情感机器人[M].北京:机械 工业出版社,2012:17I.199. 参考文献: [1]侯鹏.智能机器人运动控制系统_^=乏算法研究[D].北京: 北京交通大学,2013:1-6. H0U Peng.Research of intelligent robot’S motion control [1】]王志良,祝长生.人工情感[M].J匕京:机械: 社,2009:178-273. 出版 [12]AMIN1 R,[JSEqTI C.HapFACS:an()pen source apt/ software t( generate facs—based expressions for ccas animation and for corpus generation[C]//2013 Humaine A J(‘iation Conference on Affective Computing anti Intelligent lnlt ̄l’a(.tion system and algorithm[D].Beijing:Beijing Jiaotong University,201 3:1—6. (ACII).Geneva.Switzerland.2013:270—275. [2]吕振,解仑.韩品,等.基于情绪控制的仿人机器人表 [13]EKMAN P,FRIESEN W V.Facial action c ̄Ming sys,lem[M]. ・474・ Consulting Psy ̄'hologist Press.1977:1 10—120. 智能系统学报 第12卷 [20]信继忠,柯显信,杨 ,等.具仃面部表情的仿人头 机 器人系统的研制[J].智能系统学报,20l5,l0(8): 556-560. II l4 1 EKMAN P.ROSENBERG E 1 .What the face reveals: basic alld applied studies of S1)OIltaneous expression using the facial a(:L_I1l1 coding system(FACS)[M].2nd Edition, Stock:Oxford University Press,2005:330—340. XIN Jizhong, KE Xianxin, YANG Yang, et a1. I)eveh)pment of the system of a humanoid rob(JI head with [15]COHN J F,AMBADAR Z,EKMAN P.Observer—based meastn’ement of facial expression with the facial action facial expressions[J].CAAI transactions oil intelligent systems,2015,lO(8):556—560. c.oding system[J].The handbook of emotion elicitation and assessment。2007:203—221. 作者简介: 柯显信,男,1973年生,副教授,博 士后,主要研究方向为仿人机器人和人 [16]KOBAYASHI H,HASHIMOTO T,SENDA M,et a1. Realization of realistic and rich facial expressions by face 机情感交互。主持或参与国家“863”项 目和上海市科委重点项目等科研项目 l0余项。获国家发明专利授权l0项, robot[C]//Proceedings of 2003 IEEE/RSJ International Conlbrenee OH Intelligent Robots and Systems,Tokyo, 发表学术论文30余篇。 Japan,2003:1 123一I 128. [I 7]KIHARA Y,DUAN Guifang.A dynamic facial expression database for quantitative analysis of facial paralysis[C]// International Conferen(、e on Computer Sciences and Convergence hfformation Technology.Seogwipo,South Korea.20l 1:949—952. 云亚文,男,1991年生,硕士研究 生,主要研究方向为仿人机器人和人机 情感交互。 [18]许京刺.ANSYS 13.0 Workbench数值模拟技术[M].北 京-|}l 水利水电出版社,2012:253-260. [I9 J柯 价,尚宇峰,卢孔笔.基于HyperWorks仿人机器人 面部表情仿真[J].制造业自动化.2015,37(1): l18-l21. 邱本锐,男,1992年生,硕士研究 生,主要研究方向为仿人机器人和人饥 情感交互。 KE Xianxin,SHANG Yufeng,LU Kongbi.Simulation ot’ humanoid robot facial expression based on HyperWorks [J].Manufacturing automation,2015,37(1):1 l8—121. 第四届亚洲模式识别会议 The 4th Asian Conference on Pattern Recognition(ACPR 20 1 7) The 4th Asian Conference on Pattern Recognition(ACPR 2017)will be held on November 26—29,2017,Nanjing, China.The conference aims at providing one major international forum for researchers in pattern recognition and related iehls to share theifr new ideas and achievements.Submissions from other than the Asia.Pacific regions are also highly encourage(I. Fopics of interest include all aspects of pattern recognition including,but not limited to: Computer Vision and Robot Vision Pattern Recognition and Machine Learning Signal Processing(signal,speech,image) Media Processing and Interaction(video,document,medical applications,biometrics,HCI and VR) Website:http://acpr2017.njust.edu.cn/.