基于FSFDP-BoV模型的遥感影像检索
2021-03-09
来源:易榕旅网
第32卷第1期 地理与地理信息科学 Geography and Geo—Information Science Vo1.32 No.1 January 2016 2016年1月 doi:10.3969/j.issn 1672~0504.2016 01.011 基于FSFDP—BoV模型的遥感影像检索 沈忱,祁昆仑,刘文轩,吴华意 (武汉大学测绘遥感信息工程国家重点实验室,湖北武汉430079) 摘要:为提高遥感影像检索的精度,提出一种基于快速查找密度峰值聚类(Fast Search and Find of Density Peaks, FSFDP)的改进视觉词袋(Bag of Visual word,BoV)模型,该方法充分利用FSFDP聚类算法分类精度高和聚类参数 易于选择等优点,增强BOV模型特征量化的稳定性和可靠性。实验表明,与经典BOV模型相比,FSFDP-BoV模型 能够得到更高的检索精度。 关键词:遥感影像;检索;BoV;密度峰值聚类 中图分类号:TP79 文献标识码:A 文章编号:1672—0504(2016)01一。O55一O5 0引言 1基于BoV模型的特征描述 随着遥感影像的数据源和数据量的快速增 BoV模型在遥感影像检索中主要用于影像特征 长[2],基于内容的图像检索 ]成为当前遥感影像检 描述向量的生成[13J。假设有一组图像,从中选出测 索的一个研究热点和难点_3 ],提高遥感影像检索精 试样本和训练样本。首先,分别提取训练样本和测 度已成为基于内容的影像检索研究的必经之路。 试样本的底层特征,如SIFT(Scale—Invariant Fea— 视觉词袋(Bag of Visual word,BoV)模型是基 ture Transform)特征[1 、将图像刚性分割成多个块 于内容的图像检索中最热门的方法之一l5]。BoV模 提取的颜色特征、纹理特征等,则每个图像就由很多 型源于信息领域的词袋(Bag of Words,BoW)模型。 个底层的局部特征表示,这些特征就是视觉词汇向 对于一个文本,Bow模型忽略其词序和语法句法, 量。然后利用K-Means算法对训练样本的视觉词 仅仅将其看作是一个词集合,文本中每个词的出现 汇向量进行聚类,选择聚类中心作为视觉字典的基 都是独立的,不依赖于其他词是否出现,即在任意位 础词汇。再利用欧式距离计算测试样本的视觉词汇 置选择一个词汇都不受前面句子的影响。由于 向量与基础词汇的相似度,并用基础词汇表中的单 BoW模型在特征描述方面有着独特的优势,因此将 词代替图像中的视觉词汇向量,统计出每一幅测试 BoW模型的思想应用于图像的特征描述中,即BoV 样本中基础词汇出现的次数,即统计直方图并作归 模型,当前已经广泛地应用于图像和视频的检索方 面 ,川。 一化处理,得到每一幅影像的特征向量,最终应用于 影像的分类、检索等_1 。 为提升BoV模型在遥感影像检索中的精度和 BoV模型描述遥感影像的流程主要包含特征提 效率,研究者对BoV模型做出了改进[6-n],改进后 取、字典训练和特征量化3个阶段。传统BoV模型 方法能够有效地提高检索的精度,但在特征量化时 的字典训练是采用K~Means聚类算法。为提高传 均没有考虑密度信息,无法满足地物繁多且目标复 统基于K—Means的BoV模型描述影像特征的精度。 Zhong等_1 ]提出球形K—Means聚类算法(Spherical 杂的高分辨率遥感影像检索的需求。 2014年Rodriguez等提出了快速查找密度峰值 K-Means)来减弱局部特征高纬度和稀疏性对K_ 聚类(Clustering by Fast Search and Find of Densi— Means聚类效果的影响。Bolovinou等_1 ]进一步验 ty Peaks,FSFDP)E 算法,该聚类方法具有灵活性 证了该方法生成的聚类词典在表达能力上得到增 高、稳定性强、效率高等特点。基于此算法,本文提 强。Philbin_】 提出了近似K—Means(Approximate 出了BoV改进模型——FSFDP_BoV模型,并将其 K—Means,AKM),并将其应用于目标区域检索。 应用于遥感影像检索中。 Wang等 。_提出了快速近似K-Means聚类算法 收稿日期:2015— 6—1O; 修回Et期:2O15—1O一14 基金项目:国家973计划项目(2012CB719906) 作者简介:沈  ̄(1991--),男,硕士,主要从事高分辨率遥感影像检索研究。E--mail:ShenChen0425@whuedu.cn .第56页 地理与地理信息科学 第32卷 (Fast Approximate K—Means,F-AKM)用于有效识 聚类中心个数。 别类簇之间交界处的数据点,减少了每轮迭代的计 (4)确定各个点的类别。聚类中心选好后,每个 算量,进一步加快了聚类收敛的塑封,提高了生成视 点属于距其最近的且比自身密度高的点所在的类 觉词典的效率。此外,为提高高维直方图相似性度 别 直至昕有点都能划归到某一个类别。与K—Means相比,FSFDP算法有如下优点:1) 量的有效性,wu等[21]提出了一种基于直方图相交 核(Histogram Intersection Kernel,HIK)L船 的K— 灵活性:算法可根据p* 的分布决定聚类中心个数 Means聚类方法生成视觉词典,并在目标识别实验 K。2)稳定性:在相同数据源和参数的条件下,聚类 中验证了该视觉词典的良好性能。文献1-233主要针 结果完全一致 不会出现多次聚类得到不同的结果 聚类流程只需一次即可完成,不 对视觉词汇表的改进进行了研究,并对近似K— 的情况。3)高效性:Means和分层K-Means两种方法进行了对比分析。 上述方法仅通过改进K-Means聚类来提升 BoV模型在字典训练的精度和效率,且没有考虑到 视觉词汇空间下视觉单词的分布和密度因素,得到 的视觉字典无法很好地表达影像中的视觉单词,造 成较大的量化误差。FSFDP聚类能够通过查找密 度峰值确定聚类中心,不仅有效地保证规则分布点 簇的完整性,而且与K-Means聚类算法相比,FS- FDP算法有聚类结果稳定、算法效率高等优点。本 文将基于FSFDP聚类算法改进BoV模型,以期提 高字典训练的精度和改进BoY模型的影像特征量 化方法。 2基于FSFDP—BoV模型的遥感影像检索 2.1 FSFDP聚类 FSFDP聚类方法是基于局部密度分布判别各 个点类别的方法,该算法假设聚类中心由一些局部 密度比较低的点围绕,并且这些点距离其他高局部 密度的点的距离都较远,以保证聚类中心之间不属 于同一点集。找到聚类中心后,通过查找每个点临 近的高密度点来判断该点的类别,以保证算法对呈 规律分布的点群分类后的完整性。FSFDP算法的 主要步骤如下: (1)计算局部密度p。点i的局部密度为到点i 的距离小于截断距离d 的点的个数。 P (比一 ) 其中,若x<O,则 ( )<0;若x>0,则 (z)一1。 (2)计算 。 是指点i到比自身局部密度大的 点的最小距离。如果点i已经是局部密度最大的, 则 赋值为点i到距自身最远的点的距离。即: j p ^ (3)寻找聚类中心。由于成为聚类中心的点需 要P和 都优于其他点,也就是Density Peaks。本 文用作为选取聚类中心的标准。对所有点按lD* 由大到小排序,前K个点作为聚类中心,其中K为 需要重复迭代。4)完整性:结果中呈规则分布的点 群能划分到同一类别,保证分类精度。 2.2 FSFDP-BoV模型 基于FSFDP聚类算法提出FSFDP—BoV遥感 影像检索模型,利用FSFDP算法搜索密度峰值找到 聚类中心并训练字典,在BoV模型的特征量化上根 据局部密度逐点归类。该方法不仅在BoV模型生 成字典的过程中充分考虑了点群密度分布情况,保 证聚类中心是高密度的点,而且在BoV模型特征量 化的过程中利用局部密度归类量化生成直方图。 FSFDP—BoV模型具体流程如图1。 训练样本B ……一僬 黔……… ■ … ■ … l 提取sIFr特征 l I 提取sIF1特征 lt t t + + ● 目…[≥ 目..目 目…目 目…目目…目 目…目 图1 FSFDP-BoV模型 Fig.1 The FSFDP-BoV model (1)局部特征提取。提取训练样本和候选样本 影像的SIFT特征作为BoV模型的局部特征。每张 影像得到 个128维SIFT向量,其中 为SIFT点 数目,向量组成 *128的矩阵称为样本的特征。 (2)基于FSFDP聚类算法构建BoV字典。分 别计算每个特征点的l0和 ,并对所有特征点按lD* 从大到小排序,取前K个特征点作为聚类中心(K 为聚类个数),即字典中的基础词汇。 (3)生成统计直方图。生成待检索影像和候选 第1期 沈忱等:基于FSFDP-BoV模型的遥感影像检索 第57页 样本库中的每张影像的统计直方图。经典的基于 是从候选样本库中随机抽取的10张影像,待检索影 K-Means的BoV模型是利用欧氏距离度量测试样 像C共有100张影像。 本的特征向量和字典中基础词汇(聚类中心)之间相 实验首先用训练样本B训练BoV模型的字典, 似度,而FSFDP-BoV模型是用特征向量的局部密 通过字典量化待检索影像C和候选样本库A的特 度进行度量。首先将测试样本的特征向量置于训练 征向量;然后计算待检索影像C与候选样本库A的 样本的向量集空间中,然后计算特征向量的局部密 相似度并排序;最后统计检索影像集C中所有影像 度,找最近并且比自身密度高的训练样本特征,若该 检索结果的准确率和召回率。 训练样本不是聚类中心,则继续找比该训练样本最 3.2参数选择 近的且比自身密度高的特征,直到找到聚类中心。 (1)截断距离d 的选取。最佳d 应使得特征集 最后统计每个样本基础词汇出现的次数,得到统计 直方图并进行归一化,得到的向量即为每幅影像的 FSFDP-BoV模型特征向量。 (4)相似度对比。计算待检索影像特征向量与 候选影像库的特征向量的余弦相似度,通过测量两 个向量内积空间的夹角的余弦值来度量其问的相似 性。0。角的余弦值是1,而其他任何角度的余弦值都 不大于1,并且其最小值是一1,由于向量直方图中数 值都不小于0,故实际最小值为0。方法如下(其中 H 、H 为两个直方图向量): 删 ㈣一 最后据相似度大小对候选影像排序并输出结果。 3实验与结果 3.1实验数据 本实验的数据来源于USGS的UCMerced— LandUse数据中的10类典型地物样本,每类各100 张影像,影像大小为256*256,分辨率为0.3048 ITI。 样本示例如图2所示。 图2样本示例 Fig.2 Illustration of the samples (1)所有10类样本作为候选样本库A一(A , A:,…,A 。),其中A 有100张影像。候选样本库共 有1 000张影像。 (2)从中随机抽取的10张影像的集合为B ,l0 类Bi构成训练样本B一(B ,Bz,…,B 。)。训练样 本B共有100张影像。 (3)待检索影像集C_-(C ,C2,…,C 。),其中c 合中平均每个点的邻居数为所有点数目的1 ~ 2 。首先取一个随机值d,统计所有点的邻居数之 和,除以点的数目得到平均每个点的邻居数,再除以 所有点的数目。如果结果小于l ,则扩大d的值, 如果结果大于2 ,则减小d的值,当结果处于1 9/6~ 2 的范围内时,取d作为截断距离。 (2)聚类个数K的选取。聚类中心应是10和 都比较大的点。为确定聚类个数K,需通过分析经 过排序的p* 曲线,找出曲线的拐点作为K的值。 步骤如下:1)统计每个点的lD和 并计算lD* 。2) 对所有点按lD* 值从大到小的顺序排序。3)根据 p* 值生成二维线性图表(图3),其中纵坐标为 』0* ,横坐标为点的序号。4)根据特征点l0* 的分 布,找出p* 值与大部分点lD* 值相差较大的点集 作为聚类中心。如图3,第一个点和第二个点之间 p* 间隔最大(由于原始点数量过大,将原始P* 线 形图按500间隔采样,即每个点代表500个点),即 前500个点的p* 值与后面的点差距较大,故聚类 中心数目K应取500。 编号/500 图3选取最佳K值 F唔3 The best choice ofKvalue 3.3实验结果 用K—Means聚类的经典BoV模型作对比实验。 图4为lO类地物的待检测样本召回率的平均值,由 此得到FSFDP—BoV模型和经典K—Means—BoV模 型的准确率一召回率对比图。在遥感影像检索中FS— FDP-BoV模型的准确率整体上要比经典BoV模型 第58页 地理与地理信息科学 第32卷 高,尤其是在召回率为10 的情况下更为明显。 表1为1O类地物在FSFDP-BoV模型和经典 K-Means—BoV模型检索结果的对比。可以看出,基 于FSFDP-BoV模型在很多类别中检索精度均强于 罄 经典BoV模型,尤其是高速公路、森林、中型住宅 区、天桥,检索结果优势较为明显。在高速公路类 别,当召回率为10 时,FSFDP-BoV模型的准确率 要相对经典BoV模型高。中型住宅区、森林、天桥 召回率 类别中,相同召回率的条件下,FSFDP—BoV模型的 图4总体结果 Fig.4 The overall result 检索结果准确率优于经典BoV模型。 表1各类别准确率一召回率 Table1 Accuracy-recall of each catego ̄ 农业用地 FSFDP 100.O 100.0 100.0% 100.0 100.0 100.0 87.5 45.2 5.9 K-means 100.O 100.0% 100.O% 100.0 100,O% 98.4 93.3 16.0H 5.8 建筑物 FSF、DP 2O.8 19.2 16.4% 18.0H l6.8% 15.3% 14.9 l3.8% 10.9% K-means 15.9 15.5 15.2 14.3 12.3 12.1 1O.7 9.2 8.O 灌木丛 FSFDP 100.0 100.0% 100.0 100.0 100.O 98.4 98.6 92.O 64.7 K-means 100.0% 100.0 100.0 100.O 98.0 98.4 98.6 97.6 95.7 森林 DP 100.0% 100.0 88.2 66.7 58.1 5O.0H 3l_5 26.1 16.0 K-means 52.6 64.5 55.6 45.5 46.3 3l|1 26.6 16.6 1O.7 高速公路 FSFDP 9O.9 19.6% 21.1% 22.1 21.9 18.8 17.5 16.O 11.3 K—means 20.O% 18.O% 16.5 11.2 10.4 8.9% 8.4 7.9 7.0H 港口 FSFDP 100.0% 100.O 71.4Z 28.4 14.7% 12.8% 10.9% 10.8% 9.6% K—means 100.0 54.1 47.6 36.4 25.6 l4.7 11.8 8.9 6.5 中型住宅区 FSFDP 76.9 52.6 38.5 26.7 24.5 21.9 18.6 16.5 12.7 K-means 45.5 29.4 25.2 27.2 24.2 23.3 2l_4 21.4 17.2 天桥 FSFDP 45.5 43.5 46.2 41.7 37.9% 32.6 29.5 2O.3% 18.5 K—means 13.7Z 14.6% 13.7% 12.6 1].7% l1.3% 11.3% 8.9% 7.8 停车场 FSF‘DP 30.3 26.0 18.8 l2.8 lO.6 9.1 6.6% 6.5% 6.O% K-means 2l_7 22.O% 19.1 14.7 12.3 8.9 6.6 5.9 5.5 机场跑道 FSFDP 27.8 14.6% 18.2 21.6 24.3 23.5 23.0 15.9% 9.4 K-means l7.2 14.1 11.0 10.0 10.4 9.0 8.4 7.4 6.1 [33 程起敏.基于内容的遥感影像库检索关键技术研究[D].北京: 4结语 中国科学院研究生院,2004 本文基于FsFDP聚类算法对经典BoV模型进 r4] 李德仁,宁晓刚.一种新的基于内容遥感影像检索的图像分块 策略口].武汉大学学报(信息科学版),2006,31(8):659--663. 行了改进,提出FSFDP—BoV模型并应用于遥感影 [5] SMC J,ZISSERMAN A Video google:A text retrieval approach to 像检索。实验表明,该方法在遥感影像的分类检索 object matching in ̄deos[J].ICCV,2003(2):1470—1477. 中能取得不错的检索精度,尤其在农业用地、灌木 [6] 周文罡.基于局部特征的视觉上下文分析及其应用[D].合肥: 丛、港口类别中效果较好。FSFDP-BoV模型检索精 中国科学技术大学,2011. 度普遍优于经典BoV模型,特别是在高速公路、森 [7] 李远宁,刘汀,蒋树强,等.基于“bag of words”的视频匹配方法 口].通信学报,2007(12):147~151. 林、中型住宅区、天桥类别下,FSFDP—BoV模型的检 [8] ZHANG Y M,JIA Z Y,CHEN T.Image retrieval with geome~ 索精度具有明显优势。 try-preserving visual phrases[A].CVPR,201l_8O9~816. [9] PHILBIN J,CHUM O,ISARD M,et a1.Object retrieval with 参考文献: large vocabularies and fast spatial matching[A].CVPR,2007. [1O] 杨进,刘建波,戴芹.一种改进包模型的遥感影像检索方法 r1]SMEULDERS A W M,WORRING M,SANTINI S,et a1.Content- rJ].武汉大学学报(信息科学版),2014(9):1109—1113. based image retrieval at the end of the early years[J-].Pattern Anal— En] WU J,CUI Z,ZHAO P,et a1.Visual vocabulary tree construc— ysis and Machine Intelligence,IEEE Transactions on,2000,22(12): tion research using adaptive Fuzzy K Means Clustering[J]. 1349——1380. Advanced Science Letters,2012,11(1):258—262. [2]HIRATA K,KATO Query by Visula Example,Content Based [123 R0DRIGUEZ A,I A10 A.Clustering by fast search and find Image Retrieval[C].Advances in Database Technology,EDBT of density peaks ̄J].Science,2014,344(6191):l492—1496. 92.Vienna,1992 [-13] 柴玉梅,王宇.基于TFIDF的文本特征选择方法[J].微计算机 第1期 沈忱等:基于FSFDP-BoV模型的遥感影像检索 第59页 信息,2006,24:24—26. LJ].Pattern Recognition,2013,46(3):1O39—1053. [14]LOWE D G.Distinctive image features from scale-invariant key [19]PHILBIN J.Scalable Object Retrieval in Very Large Image COl— points[J].International Journal of Computer Vision,2004,60 lections[D].University of Oxford,2010. (2):91一l1O. [2O]WANG J,WANG J,KE Q,et a1.Fast approximate K-means 05]MOLINIER M,LAAKSONEN J,HAME Detecting man- via cluster closures[A].Multimedia Data Mining and Analyt— made structures and changes in satellite imagery with a con— ics[M].Springer Intenrational Publishing,2015.373—395. tent-based information retrieval system built on self-organizing [21]wU J,REHG J M.Beyond the Euclidean distance:Creating ef— maps[J].Transaction on Geosciences and Remote Sensing, fective visual codebooks using the histogram intersection ker— 2007,45(4):861—874. nel[J].Computer Vision IEEE International Conference on, [16]李士进,仇建斌,於慧.基于视觉单词选择的高分辨率遥感影 2009,30(2):63O~637. 像飞机目标检测[J].数据采集与处理,2014,29(1):6O一65. [223 ODONE F,BARLA A,VERRI A.Building kernels from bina— [17]ZHONG S Efficient online spherical K-means clustering[A]. ry strings for image matching[J].Image Processing,IEEE Proc.of the 2005 IEEE International Joint Conference on Neu— Transactions on,2005,14(2):169—180. ral Networks[c1].Montreal,Canada,2005.318o一3185. [23]ZHENG Y T,ZHAO M,NEO S Y,et 1a.Visual synset:Towards a [18]BOLOVINOU A,PRATIKAKIS I,PERANTONIS S Bag of higher-level visual representation[A].Computer Vision and Pat— spatio-visual words for context inference in scene classification tern Recognition,2oo8[C].CVPR 2008,2008.1—8. Remote Sensing Image Retrieval Research Based on FSFDP_BoV Model SHEN Chen,QI Kun—lun,LIU Wen—xuan,WU Hua—yi (State Key Laboratory of Information Er,[gineering in Surveying, Mapping and Remote Sensing,Wuhan University,Wuhan 430079,China) Abstract:In order to improve the accuracy of retrieval of high—resolution remote sensing images,this paper proposes an im— proved Bag of Visual Word(BoV)model based on clustering by Fast Search and Find of Density Peaks(FSFDP).Taking the advantages that the result of clustering by FSFDP is highly accurate and that the clustering parameters are easy to choose,this model enhances the stability and reliability of feature quantification in BoV. Key words:remote sensing images;retrieval;Bag of Visual words;density peaks clustering (上接第33页) An Adaptive Simplification Method on Vector Data Based on e-Voronoi ZHANG Zhen—xi n1,DENG Hao ,K0U Yi—dan ,ZHANG Wei ,LIU Bi (j.State Key Laboratory of Remote Sensing Science,School of Geography and RS,Beijing Normal University, Beijing 100875;2.School of eGosciences and Info-Physics,Central South University,Changsha 410083; 3.School of Indormation Science and Engineering,Central South University,Changsha 410083,China) Abstract:In this paper,an adaptive method that performs simplification of vector data using frame buffer and quad-tree index is presented.Firstly.indicators to evaluate vector data density are proposed,then the tolerance parameter(£)of£一Voronoi diagram is gotten by the vector data density and width of each region.In the end,the vector data is adaptively simplified with the technol— ogy of frame buffer.The result of experiment indicates that our method improves the quality of simplification quality,and pro— vides some bases for visualization of vector data. Key words:quad-tree;frame buffer;adaptive;simplification