复杂地面场景下运动小目标的识别与跟踪方法
2024-04-23
来源:易榕旅网
第26卷第9期 2010年9月 信号处理 SIGNAL PR0CESSING Vol_26. No.9 Sep.2010 复杂地面场景下运动小目标的识别与跟踪方法 王 平 高颖慧 王 鹏 (国防科技大学电子科学与工程学院ATR重点实验室,湖南长沙410073) 摘要:针对下视情况下复杂地面场景对机载光电系统目标检测与识别的影响,提出了一种基于平台运动补偿的下视 场景运动小目标检测与跟踪方法。首先提取地面场景中的角点和线等不变性特征,通过图像配准实现平台的运动补偿,然 后经帧间处理检测出潜在运动目标,并利用Gabor滤波器对目标进行初步筛选,最后通过轨迹关联和目标航迹累计数以及 目标先验运动速度信息识别和跟踪光电系统视场内的真实目标。 关键词:机载光电系统;下视;运动目标检测;地面场景;Gabor滤波器 中图分类号:TN242 文献标识码:A 文章编号:1003—0530(2010)09—1289—05 Detection and Tracking of Small Moving Object in Ground Clutter WANG Ping GAO Ying—hui WANG Peng (ATR Lab,School of Electronic Science and Engineering,National Univ of Defense Technology,Changsha,Hunan,410073,China) Abstract:To reduce the influence of ground clutter on object detection and tracking for airborne EO systems,a small moving object detection and tracking method is proposed.First,invariable features of ground clutter,such as edges and eolTlers in images,are extracted for image registration to compensate movement of ego—motion imaging systems.Then,the candidate objects in images are de— tected in the way of frame difference and screened out through Gabor filters in the rough.Finally,the tracking association and cumula— tive sum method and velocity limitation objects are introduced to detect real target in ifeld of view of airborne EO systems. Key words: Airborne EO Systems;Overseeing;Moving Object Detection;Ground Clutter;Gabor Filters 1 引言 机载下视光电侦察系统是一种重要的战场态势 感知系统,用于对复杂地面场景的侦察与监视。在实 波器提取图像中感兴趣的小目标区域(region of in— terest,ROI),并将其与补偿后的结果进行融合,最后 在初步检测结果基础上,通过数据关联和检测前跟 踪(Track—Before—Detect,TBD)方法 识别出真实的 运动目标。 际应用中,机载下视光电侦察系统要面临以下困难: 难以从复杂地面背景中有效检测和提取出远距离时 的点或斑点目标;由系统搭载平台飞行过程中的姿态 变化引起的图像抖动会严重影响目标跟踪精度。因 此,为了提高机载下视光电侦察系统的目标识别率 和跟踪精度,需要解决平台姿态摄动补偿、背景消 除和弱信号目标识别几个问题。本文根据机载红外 搜索/跟踪系统(IRST)的对地观测实际需求,提出 2平台运动补偿 机载光电侦察系统的传感器通常固连在平台上, 平台运动会导致成像系统的光轴出现摄动。因此首先 需要消除平台运动造成的影响。机载下视成像系统所 成图像中的地面景物提供了图像中不动场景的信息, 因此可通过相邻图像匹配方法来估计平台的运动,并 种基于序列图像的空一时小目标检测算法。该算 加以补偿。通常可采用以下的旋转尺度变换(RST)模 型来描述图像的运动: 法先对平台姿态摄动进行补偿,然后采用Gabor滤 收稿日期:2009年7月29日;修回日期:2010年3月30日 1290 信号处理 第26卷 ; ,y :=r c。s l —),。1I+[I 。bk ]I c‘ t, cosOk in ok s。y = 1 l x  ̄xo 地面场景中,常用的不变特征有道路、河流、建筑 物、农田等形成的地形特征,通常由这些景物的边缘和 角点组成。图2(a)为地面景物的边缘特征,图2(b) 为采用Harris角点算子得到的角点特征。 y。一一 [一CO iSO k ,k _一1 呈::][ : ]+ a k, k一- I]c2 E( ):吉∑( ( )~L_I( ( )))㈩ 一一 (a】 (b) 图1 机载光电系统获取的两种下视场景的图像 一一 (b)角点提取结果 图2 图像不变特征提取结果 寻找两帧图像中不变特征点之间的对应关系,并带 入式(3),即可求得两帧图像之间的运动参数 和 然后根据求得的 ,和 。,将不同时刻的图像 配准,再利用帧间差分法检测图像序列中的运动目标。 图3为上述两种场景经运动补偿后的配准结果。 一 陶3 两种场景下的图像配准结果 3 潜在目标筛选与ROI提取 平台运动补偿后除了可提取出需要检测的目标, 还会提取出来大量虚假目标,这会给真实目标检测带 来很大影响。考虑到我们的应用中主要是为了检测运 动点目标和斑点目标,因此可根据点目标和斑点目标 的灰度空间分布特性,提取图像中可能存在点目标或 斑点目标的感兴趣区域(ROI),然后与运动补偿后的 结果进行融合,尽可能消除各类虚假目标。地面背景 图像中,可以采用目标的复杂程度、目标边缘方向和位 置局部特征来进行目标筛选,这些特征具有一定的代 表性,且相对比较简单。在各类目标特性表示方法中, Gabor滤波器与简单细胞的感受野性质类似,具有简单 第9期 王平等:复杂地面场景下运动小目标的识别与跟踪方法 1291 细胞的选择性,对特定朝向和频率的目标响应比较敏 感。因此可通过对图像进行Gabor滤波来进行潜在目 标筛选。 2D Gabor函数的通用表达式为 : 则可剔除多数虚假目标。图6为融合后的阈值分割结 果。 G( ,Y; , )=exp 一惝俐 一一 (a)场景1 ̄Gabor滤波器 筛选后的结果 (b)场景2 ̄Gabor滤波器 筛选后的结果 expI Jl H( — )+ (Y一/x ){J(4) 其中,图5 Gabor滤波器的点目标筛选结果 [ :]=cos ̄p csoins  ̄j] l -一 /x ,I,“=c。c。s , = wsinO,( ,Y)表示目标在该坐标系中的位置。 表示 Gabor函数的波动方向, 、/x 表示高斯函数的均值, or 、 :表示高斯函数的宽度,cc,,0分别表示调制频率和 调制方向,0表示感受野形式。Gabor滤波器与简单细 胞的感受野性质类似,具有简单细胞的选择性,对特定 朝向和频率的目标响应敏感。图4示出了最优朝向分 别为0。、30。、60。、90。、120。及150。的Gabor滤波器。 一一 (a)场精1的运动小¨标检测结果 (b)场景2的运动小日标榆测结果 图6 经Gabor滤波器筛选后的运动点目标检测结果 4 CUSUM序列目标识别 由图6可见,图像中大部分背景都被抑制了,并提 取出了多个潜在目标,其中包含真实的运动点目标。 尤其是场景2,图像经处理仅剩下了真实的运动点目 根据各潜在目标时问上的动力学特性,建立目标航迹, ■■■ ■■■ 4 六种不 角度的Gabor滤波器 标。但对于场景1,可以采用检测前跟踪(TBD)方法, 得到目标的运动特性,并由此识别出真实目标。 由于待检测的目标具有一定的运动速度V=( , )。定义Y (k)=( (k),Y (k)) 为第k帧图像中第i 个潜在目标的坐标,定义 (k)为目标的残差向量(或 新息),则有: fX (k)=X。(k一1)+V·AT+W(k) 《Y (k)=Hx (|j2)+1,(k) 不同朝向角和频率下的Gabor滤波器与对应的频 率和方向问对应时,Gabor滤波器会有最大的响应。因 (5) 【y (k)=Y (k)一 『y (k 1 k一1) 此我们可根据生物视觉的方法抽取图像中景物的特定 朝向和复杂度特征。从图3可以看出,虚假目标主要由 道路或地面建筑的边缘组成,这些虚假目标都具有明 其中H为转移矩阵,X (k)为状态变量,W(k),1J(k)为 零均值高斯白噪声,△ 为时间周期,方差分别为R和 Q。残差方差为S =HP/ 日+R,P为一步预测方差。定 两帧间关联的目标必须满足 义d ( )垒 (k)S (后)为归一化的残差向量,则相邻 显的朝向特性。而我们所关注的斑点目标或点目标没 有特定的朝向特征,具有一定的各向同性。 因此可根据Gabor滤波器的朝向选择特性 剔除具有明显朝向特征的边缘,并提取出点 目标和斑点目标。图5为相应的筛选结 预测 果。而将筛选后的结果与运动检测相融合, 图7运动小目标的TBD检测流程 l292 第26卷 ( = :(k)S 。( ) T(V…) 其中 (1,…)是由目标最大运动速度 (6) 所确定的门 路径统计量计数的图像帧数。此时,SPRT可定义为: d:限值。以式(6)对图像序列中各潜在目标进行关联 后,可建立各潜在目标的航迹。需要对这些航迹进行 = J 0如果s )曼8 l l 如果s ( )>h (‘86 )J {(S (k)>h)u (9) 判断以识别真实目标。如前所述,机载下视图像序列 中,待检测的小目标呈有规律的运动,可以建立稳定的 航迹,而其它干扰目标由于是运动补偿所产生的,其航 迹在时间和空间上都具有一定的随机性。 为了有效区分真实运动目标和其它干扰目标,本 其中 为退出时间,定义为T: =min{k:S (k) ^} (S (k) 8)}。根据CUSUM算法,判定真实目标的条件为 t 为停止时间,根据SPRT准则,定义0f为虚假航 迹保持的概率,口为真实航迹剔除的概率,则有…: 文采用基于累计数(CUSUM )的序列假设检验 (SPRT )算法。令z.(k)表示第k帧图像中第i个目 标的航迹标志,定义如下: n【 】一 n【 ] 5仿真实验与分析 (10) z ( ):{ 第k帧图像中出现了第i个目标 【0 其它 (7) 下面采用多种机载下视情况下所获取的图像序列 来验证前面所提出的机载下视运动小目标检测算法。 图8为实验所采用的图像序列及其不变性特征提取及 运动目标检测结果。 定义目标航迹路径统计量Si( )=∑z (n),N 为计算 ____ (1 }’ 。 + 一 。¨ ;+≯ 。 · : .… 曩譬 。' 蕊蠹穗 《静 ≯ 一 一 囊 c)角点特钶 re)目标筛选疥的结聚 图8场景1运动补偿与目标检测结果 第9期 王平等:复杂地面场景下运动小目标的识别与跟踪方法 1293 提取出图像序列【{,l各帧图像的潜在目标后,根据 其动力学特性建 航迹,如图9所示。 和地面复杂场景对运动小目标检测和识别的影响。 参考文献 A Yilmaz,K Shafique,M Shah.Target tracking in air- borne forward looking infrared imagery[J].Image and Vision Computing Journal,2003,21(7):623—635. A Yilmaz,K Shafique,T Olson,N Lobo,M Shah.Target Tracking in FLIR Imagery Using Mean—Shift and Global Motion Compensation[C].Proceedings of IEEE Workshop 图9场景1各潜在¨标的动力学航迹 图9中的潜在目标可分为如下几种:1)真实的运 动小目标;2)随机出现的干扰点;3)短时出现的点目 标;4)静止的小目标。通过选择参数 =0.1和 = 0.1,根据CUSUM算法,町从图像序列中检测出i个小 目标,分别为T1,T2和T3。其中T1为图像中一直存在 l寸l 的地面固定小目标, 为较短时间内出现的地面固定 小目标,rI13为真实的运动小目标。经本文算法处理后 可检测出图像中的运动小目标,如图10所示。 __ 一一 图10场景1的运动目标识别与跟踪结果 特征提取精度对于运动补偿精度和潜在目标运动 航迹的检测精度有很大的影响,因此特征提取精度是 影响本文算法性能的主要因素。通过对各种边缘和角 点特征提取算子的对比分析可以知道,坎尼算子是一 种检测灵敏度较高、运算量较少的边缘柃测算子, Harris算子是一种提取精度较高的角点检测算子,因此 本文采用坎尼算子和Harris算子来提取边缘和角点。 6结论 本文根据机载光电侦察系统目标检测与识别的要 求,设计了一种基于运动补偿和CUSUM序列检测的运 动小目标检测算法,用于解决传感器下视时复杂地面 背景对目标检测和识别的影响问题。文中利用获取的 实际外场光学图像序列对算法进行了验证,实验结果表 明,该方法具有良好的性能,并且能够有效消除平台运动 on Computer Vision Beyond Visible Spectrum,2001. D Comaniciu,P Meer.Mean shitf:a robust approach to— ward feature space analysis fJ【.IEEE Trans Pattern Anal— ysis and Machine Intelligence,2002,24(5):603—619. C Y Chong,D Galen,T P Grayson.Ground target track— ing—a historical perspective[C].IEEE Aerospace Confer— ence Proceedings,2000,3:433—448. Charles S Kenney,B S Manjunath,Marco Zuliani,Gary A Hewer,Alan Van Neve1.A Condition Number for Point Matching with Application to Registration and Postregis— tration Error Estimation『J].IEEE Trans Pattern Analysis and Machine Intelligence,2003,25(1 1):1437—1454. Xing Wu,Bir Bhanu.Gabor Wavelet Representati■on for 3一D Object Recognition[J].IEEE Trans Image Process— ing,1997,6(1):47—64. 王平,张焱,沈振康.运动平台成像系统弱日标检测方 法[J].电子学报,2006,34(12):2293—2296. Chuan Xia Rao,Boris Rozovsky,Alexander Ta ̄akovsky. Domain Pursuit Method for Tracking Ballistic Targets I M 1.Technical Repo ̄CAMS一98-9-2,1998:3—17. 作者简介 王平(1976一),男,出生于湖北省荆 州市.博士.现为国防科技大学电子科学 与工程学院ATR实验室副教授.获军队 科技进步一等奖1项.从事成像制导与自 动目标识别、计算机视觉、智能信息处理 等方面的研究工作。 nudt.edu.en 高颖慧,女,黑龙江大兴安岭人,博 士,现为国防科技大学电子科学与工程学 院ATR实验室讲师。主要研究方向为自 动目标识别、量子衍生信息处理、图像处 理。E—mail:yinghui.gao@gmail.con 王鹏(1982一),男,出生于山东日照市,国防科技大学 电子科学与工程学院ATR实验室博士生。主要方向与图像 处理、图像匹配、红外目标识别。 E—mail:leogic@126.con