基于遗传算法的农业移动机器人视觉导航方法

农业机械学报

第39卷第6期

基于遗传算法的农业移动机器人视觉导航方法

高　峰　李　艳　见浪

　黄玉美

　　【摘要】　为了保证田间作业的农业移动机器人能够对作物行进行自动识别,并且对干扰环境具有一定的鲁棒性,采用基于遗传算法的面-带模型匹配视觉辨识方法直接对未经任何预处理的田间作物图像进行识别。通过人工图像和实际图像扫描,论证了该方法对作物行间识别的准确性和稳定性,以及对于包括干扰物等环境噪声的鲁棒性。经实际田间作物图像辨识,验证了该方法在实时控制中的有效性。

关键词:农业机器人　视觉识别　模型匹配　遗传算法中图分类号:TP24

文献标识码:A

VisualNavigationMethodBasedonGeneticAlgorithmfor

AgriculturalMobileRobots

GaoFeng　LiYan　MinamiMamoru　HuangYumei(1.Xi'anUniversityofTechnology,Xi'an710048,China

2.FukuiUniversity,Fukui910-8507,Japan)

Abstract

Inordertoensurerecognizingcroprowautomaticallywithsomerobustnessagainstnoiseenvironmentandtoconfirmitspossibleintelligenceforanagriculturemobilerobotworkinginthefields,acroprowrecognitionmethodwaspresentedbyusinggeneticalgorithmwithsurface-strip

modeltodetectthecroprowimagedinthegrayscaleimagewithoutanypreprocessing.Theaccuracyandstabilityoftheproposedvisualrecognitionofcroprawwithhighrobustnessagainstnoisesuchassunlightconditionvarietiesandobstaclesweredemonstratedbyartificialimageandrealimagescanning.Therobustnessofthemethodagainstenvironmentalnoisesandtheeffectivenessofthemethodforreal-timerecognitionhavebeenverifiedbyusingrealruralimages.

Keywords　Agriculturalrobots,Visualrecognition,Model-basedmatching,Geneticalgorithm

用需预处理的二进制图像和边缘提取方法[6～8]。不同的预处理过滤方法耗时较长,而农业机器人的

视觉导航对实时性要求很高。本文直接利用图像采集系统提供的灰度图像,采用基于遗传算法的面-带模型匹配的辨识方法,准确而快速地识别出作物中心线。通过定义目标函数来评价模型和目标图像的匹配程度,将识别问题转换成此目标函数的优化问题。采用基于面-带模型[9]的函数作为遗传算法(geneticalgorithm,简称GA)的评价函数来完成对

1

1

2

1

　　引言

农业移动机器人的自动导航在自动喷洒农药、

收割、中耕除草、插秧、耕作等许多方面有着广泛的应用。农业机器人的导航方式主要有信标导航、GPS导航、视觉导航等[1～5]。

农作物通常是整齐地以一定间距彼此平行的方式种植,农业机器人视觉导航检测作物中心线,作为导航基线。目前,具有直线特征的景物识别主要采

收稿日期:2007-07-11

高　峰　西安理工大学机械与精密仪器工程学院　副教授,710048　西安市李　艳　西安理工大学机械与精密仪器工程学院　副教授见浪

　福井大学智能工学部　教授,910-8507　日本福井县

黄玉美　西安理工大学机械与精密仪器工程学院　教授

128农　业　机　械　学　报　　　　　　　　　　　　　　　　2008年

目标在原始图像中位置和方位的检测。为了实现实时辨识,GA的每一次进化都用于一个最新输入的原始图像。这有效地节省了时间,保证了实时性的要求。

的效果,将检测结果和一个基于面-带模型的适应度函数进行对比。

2.1　面模型(surfacemodel)

对应于成像的作物行间线的主要几何特征,将匹配模型设置成长方形。这个模型称为面模型(如图3中点面所示)。这个模型用于搜索图像中的作物行间线。在图3中分配给第i次搜索模型的坐标系΢i可以用相应于相机成像面坐标系΢c中的位置

c和方位来描述。΢i中原点位置用΢c中的(xi0,c

1　输入图像的表达

为了辨识出目标即找到其成像在图像中的位置

和方位,需要分析覆盖整个形状区域的原始图像中的亮度值,即进行图像解释。为避免图像中除目标外的其他干扰物,需直接使用未经处理的图像数据,如灰度值。

图1显示了一个以8位RGB值表示的田间作物的2维图像。图中左右两边作物行间线表明了对作业环境的辨识。图2是图1对应的3维图像的灰度值,显示了作物行间线的亮度。尽管有日光变化以及不可预知的干扰物体,但仍希望能正确辨识。因此,设计一个在干扰存在情况下也能提取出有用信息的辨识方法是至关重要的。

yi0)表示,方位用cθi表示,面模型中各像素点在΢i

i中的坐标用(xi,iyi)表示。

图3　面-带模型描述

Fig.3　Descriptionofsurface-stripmodel

面模型中的所有像素点的灰度值将用于适应度

c

c

c

cii

函数的计算。利用Homogeneous转换和xi0,yi0,

c

θi0,可以得到这些点在΢c中的坐标xi,yi为

cc

xi1

coscθ-sincθii=sincθi

0

cosθi0

c

cc

xi0yi01

xiyi1

(1)

yi

2.2　面-带模型

图1　田间作物的2维图像Fig.1　2-Drawimageoffieldcrop

在面模型上增加一个轮廓带就得到了面-带模型。增加的轮廓带的灰度值为

1

f2( =i)c

c

c

xi,cy′i)∑C(

i

(2)

式中　xi、y′i———带模型中各像素点在΢i中的坐

标2.3　基于面模型的函数

面模型的函数为

f1( =i)

图2　图1的3维灰度值图像Fig.2　3-DgrayscaleimageforFig.1

c

xi,cyi)∑C(

i

(3)

cc

式中　C(xi,cyi)———在位置(xi,cyj)处的灰度值

f1( ———模式中所有点的灰度值和i)

当面模型中的某一位置和方位与图像中的成像的作物行间线的位置和方位重合时,f1( 具有最i)大的适应度值,说明模型与图像中的作物行间线匹配程度好。2.4　基于面-带模型的适应度函数

面-带模型的适应度函数是里面矩形表面和轮廓带的灰度值差。基于面-带模型的适应度函数为

F( =f1( -2f2( ′(4)i)i)i)2　匹配模型和适应度函数

选择合适的适应度函数是解决形状辨识,包括位置和方位探测问题的关键。位置是指相机坐标系中的X-Y坐标,方位是指绕Z轴的角度。本文中,函数是根据所使用的目标模型的类型来定义的。在应用基于面-带模型的函数时,为了评价检测目标第6期　　　　　　　　　　　高峰等:基于遗传算法的农业移动机器人视觉导航方法129

当采用F( 来实现搜索时,要考虑目标和背i)景的灰度值差异。

3　田间作物图像过滤结果

3.1　人工图像评价

利用适应度函数来实现对目标对象的搜索,由其定义可以看出,是要通过目标对象的识别分辨出目标对象、干扰物及其背景。为评价面模式和面-带模式的适应度函数的分辨能力,使用如图4a所示的包含有目标对象和干扰物体的人工图像。图中左边细长部分为目标对象,其灰度值在7～10之间变化,右边的2个矩形部分为干扰物,其灰度值小的为9,大的为12,其余背景的灰度值均为2。图4b、c分别为所采用的基于目标对象几何特征的面模式和面-带模式,图4c中灰色区域对应于目标对象的面模式,白色区域对应于轮廓带。“+1”表示对应的面模型区域原始图像的灰度值相加,“-1”表示由式(4)定义的减法运算。

分别利用图4b、4c所示的面模式和面-带模式对图4a的进行逐行适应度值扫描。其扫描结果如图5所示。尽管是含有干扰物的同一幅图像,当采用不同的基于目标特征的模式时,得到的适应度值结果却不一样。从图5a中看出,当采用面模式时,图像中含有干扰物位置处的适应度值要比含有目标　　

图4　人工图像的面模式和面-带模式的建立Fig.4　Surfacemodelandsurface-stripmodelof

artificialimagerespectively

(a)人工图像　(b)面模式　(c)面-带模式

位置处的适应度值大。因此,无法从适应度值的大小上来判断是否找到了目标,也就是说当图像中含有干扰物时,面模式无法抑制干扰物而实现对目标的正确识别。从图5b中看出,当采用面-带模式时,干扰物的适应度值得到了抑制,只有一个代表目标对象的峰值,而且结果表明辨识目标对象的问题就转换成为寻找峰值问题。反之,只要峰值代表辨识的目标对象,辨识问题就可以转换成搜索最大峰值问题。

图5　人工图像的适应度值扫描结果

Fig.5　Scanningresultsofadaptivescaleforartificialimage

(a)基于面模式的扫描　(b)基于面-带模式的扫描

3.2　实际图像评价

将图1中的作物加入一些土壤元素作为干扰物,具有干扰物体的农作物的2维原始图像如图6a所示,相应的3维灰度值图如图6b所示。分别采用面模型和面-带模型通过传统搜索方法逐行扫描原始图像中的全部位置像素点,由此得到对应的适应度值扫描结果如图7所示。可以看出,采用面模式时,作为干扰物的位于绿色作物中的土壤部分具有

较高的匹配值,在辨识过程中会造成误识别,从而影响识别的准确程度。当采用面-带模式时,干扰物处的匹配值几乎为零,因而可以获得正确的识别结果。利用面-带模型同时探测农作物图像的左、右两边农作物行间线,得到左右农作物行间线的方位分别为105°和72°。由此得出,基于面-带模型的视觉识别方法对环境噪声具有很好的过滤作用,从而使农业机器人作业环境的视觉感知具有很好的鲁棒性。

130农　业　机　械　学　报　　　　　　　　　　　　　　　　2008年

图6　具有干扰物的农作物图像Fig.6　Fieldcropimagewithnoise

(a)具有干扰物的2维图像　(b)相应的3维灰度值图

图7　适应度值的扫描结果

Fig.7　Scanningresultsofadaptivevaluewithsurfacemodelandsurface-stripmodelrespectively

(a)面模型的扫描结果　(b)面-带模型的扫描结果

4　基于遗传算法的模型匹配辨识方法

在上述的传统搜索法中,由于需要以不同姿态对图像进行逐行扫描,非常耗时,不利于实时控制。

为此采用GA来搜索最优适应度值,它对应于面-带模型在图像坐标系中的位姿,从而实现模型匹配,获得作物行间线的非图像表示信息,即实际作业环境信息。对作物行间线的识别参数主要是其位置和方位。因此,染色体串包含每个搜索模式中的位置和方位信息cxi,cyi,cθi,其个体编码采用的二进制串表示,如图8所示。对应于x,y的信息分别由7位二进制数表示,对应于方位角的信息采用6位二进制数表示。

子来实现基因朝着原始图像中作物行间线的实际位置和方位进行演化。

根据文献[10]中的基于模型匹配的位置和方位探测方法,对图1显示的静态图像进行了识别。在GA搜索过程中,原始图像左右两边每一边由N个个体基因构成种群来完成对图像的作物行间线的搜索。由于采用了精英保留策略和静态图像,在循环中的GA进程总是尽力寻找表明作物行间线的峰值,而且适应度值是单调递增的。当最佳搜索方法具有最大适应度值时,就意味着它匹配到了原始图像中的作物行间线。图9a中的粗实线为识别的最终作物行间线的位置,图9b为适应度值随世代数的变化情况。辨识试验图片采用MV-VS120FM/FC彩色CCD相机在田间拍摄得到,在主频为2.0GHz,内存为512MB的PentiumⅣ工控机上进行,辨识时间为30ms。

图8　表示位置和方位的染色体串Fig.8　Chromosomeincludingpositionand

orientationinformation

5　结束语

为了缩短视觉系统识别过程中的图像处理时间,直接对由视觉传感器系统提供的原始图像信息进行处理和解释,大大节省了时间,有利于实时控制,同时为了保证农业移动机器人能够自动对作业环境进行识别并且使机器人的运动更具稳定性,采GA过程的评价函数采用前述的基于面-带模型的函数F( 。采用GA中的精英保留策略,即j)将每一代种群中的最优个体保留下来进入下一代。GA进化过程中的每一代,通过选择、杂交和变异算第6期　　　　　　　　　　　高峰等:基于遗传算法的农业移动机器人视觉导航方法131

用基于遗传算法的面-带模型匹配的目标辨识方法。经实际图像验证了该方法在实时控制中的有效性,论证了该方法对具有一定形状特征的目标对象识别

的可行性和稳定性以及对于包括干扰物等环境噪声的鲁棒性。

图9　基于遗传算法的辨识结果Fig.9　RecognizingresultswithGA

(a)搜索结果　(b)适应度值变化曲线

参考文献

1　日本机器人学会.机器人技术手册[M].北京:科学出版社,1996.

2　AbbottE,PowellD.Land-vehiclenavigationusingGPS[J].ProceedingsoftheIEEE,1999,87(1):145～162.3　StollA,DieterKutzbachH.GuidanceofaforageharvesterwithGPS[J].PrecisionAgriculture,2000,2(3):281～291.4　BillingsleyJ,SchoenfischM.Vision-guidanceofagriculturalvehicles[J].AutonomousRobots,1995,2(1):65～76.5　WilsonJN.Guidanceofaagriculturalvehicles———ahistoricalperspective[J].ComputersandElectronicsinAgriculture,2000,25:3～9.

6　AoG,AkazawaH,IzumiM,etal.Amethodofmodel-basedobjectrecognition[C]∥Japan/USASymposiumonFlexibleAutomationASME,1996,2:905～912.

7　NagataT,ZhaH.Recognizingandlocationaknownobjectfrommultipleimages[J].IEEETransactionsonRoboticsandAutomation,1991,7(4):434～447.

8　SumiK,HashimotoM,OkudaH.Three-levelbroad-edgematchingbasedreal-timerobotvision[C]∥Proc.IEEEInt.Conf.onRoboticsandAutomation,1995.

9　MinamiM,AgbanhanJ,SuzukiH,etal.Asakura,real-timecorridorrecognitionforautonomousvehicle[J].JournalofRoboticsandMechatronics,2001,13(4):357～369.

10　赵颖,孙群,陈兵旗,等.基于机器视觉的非结构化道路导航路径检测方法[J].农业机械学报,2007,38(6):202～

204.

(上接第141页)

9　周向阳,陈立平,黄正东.连续体结构与支撑综合拓扑优化设计方法[J].农业机械学报,2008,39(4):128～131,68.ZhouXiangyang,ChenLiping,HuangZhengdong.Topologyoptimizationdesignofstructureandsupportsforcontinuum-type[J].TransactionsoftheChineseSocietyforAgriculturalMachinery,2008,39(4):128～131,68.(inChinese)10　FuchsMB,JinyS,PelegN.TheSRVconstraintfor0/1topologicaldesign[J].StructuralandMultidisciplineOptimiza-tion,2005,30(4):320～326.