基于改进的SIFT算法的图像检索

第３２卷第１期　２０１０年２月　湖卅Ｉ师范学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｈｕｚｈｏｕ　Ｔｅａｃｈｅｒｓ　Ｃｏｌｌｅｇｅ　Ｖｏ１．３２　Ｎｏ．１　Ｆｅｈ．，２０１０　基于改进的ＳＩＦＴ算法的图像检索　陈瑞文　（１．华侨大学计算机学院，福建泉州３６２０００；２．黎明职业大学计算机系，福建泉州３６２０００）　摘　要：探讨基于内容的图像检索．经典的尺度不变特征检测和匹配算法ＳＩＦＴ，具有旋转、缩放、仿射的不变性，　因而在图像匹配、图像检索领域得到越来越广泛的应用．但其主要针对灰度图像，并且当图像中存在多个相似区　域时，ＳＩＦＴ算法得到的特征向量就有很大的相似性，容易造成误匹配．为了得到更好的检索效果，在ＳＩＦＴ算法基　础上加入颜色不变量特征，构造颜色特征向量，并且建立一个用来区分相似局部特征的全局向量，在检索实验中　取得了比较理想的效果．　关键词：图像检索；ＳＩＦＴ算法；颜色不变量；全局向量　中图分类号：ＴＰ３９１　文献标识码：Ａ　文章编号：１００９—１７３４（２０１０）Ｏ１—００５２—０４　随着Ｉｎｔｅｒｎｅｔ的高速发展，数字图像信息海量增加，传统的基于文字的图像检索已经不能满足人们的　需求，如何帮助用户迅速有效地找到最需要的数字图像，已成为当前一个研究热点．基于内容的图像检索　（Ｃｏｎｔｅｎｔ　Ｂａｓｅｄ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ，ＣＢＩＲ）是指除了利用传统的数据库进行存贮管理外，还利用图像的颜色、纹　理、形状等特征进行检索Ｅ　．与这些常见的特征检索相比，尺度不变的特征具有旋转、缩放和仿射的不变性，　因而在图像匹配、图像检索领域得到越来越广泛的应用．在尺度不变的特征点提取算法中，较为经典的便是　ＳＩＦＴ算法，但它要先把图像转化为灰度图像，再进行特征点提取，这样就丢失了颜色信息，而颜色在图像信　息中是非常重要的．并且当图像中存在多个相似区域时，ＳＩＦＴ算法得到的特征向量就有很大的相似性，容易　造成误匹配．本文针对ＳＩＦＴ的不足之处，加入颜色不变量和全局向量，使得该算法的检索能力大大提高．　１　ＳＩＦＴ算方法介绍　Ｄａｖｉｄ　Ｇ．Ｌｏｗｅ在２００４年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺　度空间的，对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子——ＳＩＦＴ算子，其全称　是Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ，即尺度不变特征变换　Ｊ．　幅图像ＳＩＦＴ特征向量的生成算法总共包括４步：　（１）尺度空间极值检测，以初步确定关键点位置和所在尺度．　（２）通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定　的边缘响应点（因为ＤｏＧ算子会产生较强的边缘响　应），以增强匹配稳定性，提高抗噪声能力．　（３）利用关键点邻域像素的梯度方向分布特性为　每个关键点指定方向参数，使算子具备旋转不变性．　（４）生成ＳＩＦＴ特征向量．首先将坐标轴旋转向　关键点的方向，以确保旋转不变性．接下来以关键点　为中心取８×８的窗口．图１左部分的中央黑点为当　关键点特征向量　图１由关键点邻域梯度信息生成特征向量　收稿日期：２００９—１２—２５；修回日期：２０１０—０１—１３　作者简介：陈瑞文，华侨大学计算机技术专业２００７级在读工程硕士；泉州黎明职业大学计算机系助教，从事多媒　体、图像检索研究．　第１期　陈瑞文：基于改进的ＳＩＦＴ算法的图像检索　前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，　箭头长度代表梯度值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）．　然后在每４×４的小块上计算８个方向的梯度方向直方图．　在实际计算过程中，为了增强匹配的稳健性，Ｌｏｗｅ建议对每个关键点使用４×４共１６个种子点来描　述，这样对于一个关键点就可以产生１２８个数据，即最终形成１２８维的ＳＩＦＴ特征向量．　当两幅图像的ＳＩＦＴ特征向量生成后，下一步采用关键点特征向量的欧式距离来作为两幅图像中关　键点的相似性判定度量．取图像１中的某个关键点，并找出其与图像２中欧式距离最近的前两个关键点，　在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点．降低这个　比例阈值，ＳＩＦＴ匹配点数目会减少，但更加稳定．　２基于颜色不变量的ＳＩＦＴ描述子　为了使ＳＩＦＴ算法更好地适应彩色图像的检索，我们将在算法中加入颜色信息，以获得更好的检索效　果．在彩色特征提取与匹配过程中往往需要所使用的彩色模型具有一定的不变性．Ｇｅｖｅｒｓ　ａｎｄ　Ｓｍｅｕｌｄｅｒｓ　提出的用于在各种变化情况下识别彩色对象的颜色模型　１　２　３　．在照明光谱分布没有约束的情况下，　该颜色模型最适合于彩色对象识别，它对于光照变化、视角变化、几何变化都具有不变性，所以本文采用该　颜色模型来构造颜色描述子．它是相邻两区域之间的彩色比率，给定一副ＲＧＢ图像中的两个点　Ｏ，　１，该　颜色模型表达式如下：　一　Ｒ　ｎＧ　】　’　一　Ｒ　０Ｂ，１　’　３一　Ｇ　ｎＢ　１　’　通过ＳＩＦＴ算法提取特征点之后，接下来就是构造特征向量．为了保持ＳＩＦＴ算法原有的优点，我们先在　１６个子区域（４×４）上计算梯度方向直方图，形成１２８维的特征向量，然后在这１６个子区域上计算其彩色不变　量ｍｌ、ｍ２、ｍ３，这样在每个子区域都形成了三个颜色的不变量，最终形成一个４８维的颜色特征向量．　３　全局信息　在ＳＩＦＴ算法中，当关键点的尺度较小时，生成特征向量的有效邻域范围就比较小，如果图像中存在　多个相似区域，ＳＩＦＴ算法得到的特征向量就有很大的相似性，从而造成误匹配．针对这个问题，本文加入　了全局信息，对于每一个被检测到的特征点，建立一个用来区分相似局部特征的全局向量，长度为６Ｏ，用Ｇ　表示　．　与ＳＩＦＴ局部描述子生成相似，全局信息也生成一个直方图．我们计算每个像素点的最大曲率，给定　个点（ｚ，　），曲率定义为海森矩阵的较大特征值的绝对值，公式如下：　Ｃ（ｘ，Ｙ）一ｌ　ａ（　，ｙ）１．　其中，ａ（ｘ，　）是海森矩阵较大的特征值对于每一个特征点，以其为中心　建立对数极坐标，并把以整幅图像对角线长度为直径的圆划分成６Ｏ个　区域，如图２所示．因此，全局信息是５×１２的直方图，在直方图的每一　个对应位置累积曲率值．这里并不是严格的对数极坐标，因为沿极径方　向的前两个增量相等，增量分别为　／－、丽／－、专、　、　ｒ．如果　一（；，　）是　特征点的位置，主方向是　，那么　图２全局信息示意图　ｎ＝［　ｃｔａｎ（曩ｙ－ｙ　一…（　，［　ｚ（　ａ和ｄ分别为角度和径向距离离散值，　Ｇｏ∑ｃ　（　，　）．　（２）　湖州师范学院学报　第３２卷　其中Ｃ　（ｚ，　）是曲率图像．　由公式（１）可知，全局向量也具有旋转不变性，但是全局向量是图像尺寸的函数，不是特征点尺度的　函数，因此它并不具有完全的尺度不变性．对于小尺度的特征点，局部邻域范围比较小，相似的可能性比较　大，需要较大范围的全局形状信息，要求区域的半径要远远大于特征点的尺度；对于大尺度的特征点，局部　描述子所描述的邻域范围已经足够大了，不需要全局信息，因此为了平衡固定尺寸的全局信息和可变尺寸　的ＳＩＦＴ描述子，这里使用加权函数．每个像素的曲率值被反转的高斯函数加权，权值函数为：　叫（ｚ，　）一１—８一　‘ｒ　）　＋（　）　／（２ａ２）（３）　其中（ｘｆ，Ｙｆ）是特征点的位置，　取与ＳＩＦＴ局部特征邻域加权时相同的尺度．当尺度比较小时，ｗ（ｘ，　）　比较大，使得所对应的全局信息比重较大；当尺度较大时，ｗ（ｘ，　）比较小，从而减少了全局信息的贡献，　因此加权函数使得ＳＩＦＴ局部描述子所能描述的邻域以外的区域信息起了更重要的作用，而且实现了从　局部区域到全局区域的平滑过度．最后，对全局向量进行归一化，使算法对光照变化具有不变性．　Ｇ一　．　（４）　４　图像检索　算出以上三个特征向量之后，接下来就是进行特征点的匹配．两个特征点的距离由下式得出　：　Ｃ—ａＣｓ＋　ｍ＋（１一ａ—ｐ）ｃ．　（５）　其中，　为两个ＳＩＦＴ特征向量的欧式距离，Ｃｍ为两个颜色特征向量的欧氏距离，Ｇ为全局向量的欧式距　离．ａ，　为加权系数，默认为ａ＝＝＝　一１／３，在检索过程中，用户也可以根据实际情况调整这两个参数．比如，　对颜色要求高一些，就把　值调大一些，或者对颜色没有要求，也可以把　值设为０（０　ａ，卢　１）．　求出两个特征点的距离Ｃ之后，匹配方式与ＳＩＦＴ算法一样，通过计算待检索图像与另一幅图像距离　最小的两个特征点的距离的比值来判断是否匹配．本文采用的比例阈值为０．７，当比值小于０．７，则接受这　对匹配点．关键点匹配的数量越多，图像的相似程度就越高，在检索中排列越靠前．　由于本文使用的特征向量维数较多，当特征点较多时，匹配的时间可能会比较长．为了加快检索速度，　本文采用ＢＢＦ（Ｂｅｓｔ　Ｂｉｎ　Ｆｉｒｓｔ）算法来寻找最近邻和次近邻，大大加快了检索的速度．　５　实验及结果分析　本文从包含了１０００副１０类图像的Ｃｏｒｅｌｌ０００图库中取出５Ｏ幅进行试验．使用ＳＩＦＴ算法以及改进的　算法（加权系数ａ一口一１／３）进行检索，其中第一幅图为待检索图像，检索结果如图３、图４所示：　图３使用ＳＩＦＴ算法的检索结果　第１期　陈瑞文：基于改进的ＳＩＦＴ算法的图像检索　５５　Ｑｕｅｒｙ　Ｉｍａｇｅ　图４　改进的ＳＩＦ　Ｉ、算法的检索结果　从实验结果可以看出，在ＳＩＦＴ算法检索出的前９幅图中，仅有４幅是相关图片，而改进后的ＳＩＦＴ算　法检索准确率大大提高，前６幅都是相关图像，可见该算法检索的效果还是比较令人满意的．　本文提出的改进算法，由于加入了颜色信息和全局信息，在检索中取得了较好的检索效果．在实际应　用中，可以再加入一些反馈信息，比如感兴趣区域．一副图像我们想要的可能只是其中的某个区域或某个　对象，这时候可以让用户用鼠标选取一个矩形区域作为感兴趣区域，然后以感兴趣区域作为待检索对象，　忽略其他区域，结合了感兴趣区域可以使检索的结果更接近用户的预期．　参考文献：　［１］周明全．基于内容图像检索技术ＥＭ］．北京：清华大学出版社，２００７：１９￣９５．　［２］ＤＡＶＩＤ　Ｇ．Ｌｏｗｅ　Ｄｉｓｔｉｎｃｔｉｖｅ　ｉｍａｇｅ　ｆｅａｔｕｒｅｓ　ｆｒｏｍ　ｓｃａｌｅ　ｉｎｖａｒｉａｎｔ　ｋｅｙｐｏｉｎｔｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉ—　ｓｉｏｎ，２００４，６０（２）：９１～１１０．　［３］ＧＥＶＥＲＳ　Ｋ，Ｓｍｅｕｌｄｅｒｓ　Ａ　Ｗ。Ｍ　Ｃｏｌｏｒ—ｂａｓｅｄ　ｏｂｊｅｃｔ　ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，１９９９，３２：４５３￣４６４．　［４］ＥＲＩＣ　Ｎ．Ａ　ＳＩＦＴ　Ｄｅｓｃｒｉｐｔｏｒ　ｗｉｔｈ　Ｇｌｏｂａｌ　Ｃｏｎｔｅｘｔ口］．Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２００５（１）：２０￣２５．　ｒ　５］ＬＩ　Ｃ　Ｌ，ＭＡ　Ｌ　Ｚ．Ａ　ｎｅｗ　ｆｒａｍｅｗｏｒｋ　ｆｏｒ　ｆｅａｔｕｒｅ　ｄｅｓｃｒｉｐｔｏｒ　ｂａｓｅｄ　ｏｎ　ＳＩＦＴ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ，２００９，３０：５４４　５５７．　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａｌ　Ｂａｓｅｄ　ｏｎ　Ｉｍｐｒｏｖｅｄ　ＳＩＦＴ　Ｄｅｓｃｒｉｐｔｏｒ　ＣＨＥＮ　ＲＵｉ—Ｗｅｎ　。　（１．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｈｕａｑｉａｏ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｍｅｎ　３６２０００，Ｃｈｉｎａ；　２．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｌｉｍｉｎｇ　Ｖｏｃａｔｉｏｎａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｑｕａｎｚｈｏｕ　３６２０００，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｒｅｓｅａｒｃｈｅｓ　ｉｎｔｏ　ｔｈｅ　Ｃｏｎｔｅｎｔ—Ｂａｓｅｄ　Ｉｍａｇｅ　Ｒｅｔｒｉｅｖａ１．Ｔｈｅ　ＳＩＦＴ　ｄｅｓｃｒｉｐｔｏｒ　ｉｓ　ｉｎｖａｒｉ—　ａｎｔ　ｔｏ　ｉｍａｇｅ　ｓｃａｌｅ　ａｎｄ　ｒｏｔａｔｉｏｎ，ａｎｄ　ｉｓ　ｓｈｏｗｎ　ｔｏ　ｐｒｏｖｉｄｅ　ｒｏｂｕｓｔ　ｍａｔｃｈｉｎｇ　ａｃｒｏｓｓ　ａ　ｓｕｂｓｔａｎｔｉａｌ　ｒａｎｇｅ．Ｂｕｔ　ｔｈｅ　ＳＩＦＴ　ｄｅｓｃｒｉｐｔｏｒ　ｄｏｅｓ　ｎｏｔ　ｉｎｖｏｌｖｅ　ｃｏｌｏｒ　ａｎｄ　ｇｌｏｂａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｆｅａｔｕｒｅ　ｐｏｉｎｔ　ｗｈｉｃｈ　ｐｒｏｖｉｄｅｓ　ｐｏｗｅｒ—　ｆｕｌｌｙ　ｄｉｓｔｉｎｇｕｉｓｈａｂｌｅ　ｓｉｇｎａｌｓ　ｉｎ　ｆｅａｔｕｒｅ　ｄｅｓｃｒｉｐｔｉｏｎ　ａｎｄ　ｍａｔｃｈｉｎｇ　ｔａｓｋｓ．Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ａｎ　ｉｍｐｒｏｖｅｄ　ｄｅｓｃｒｉｐｔｏｒ　ｂａｓｅｄ　ｏｎ　ＳＩＦＴ　ｂｙ　ｉｎｔｅｇｒａｔｉｎｇ　ｃｏｌｏｒ　ａｎｄ　ｇｌｏｂａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｗｉｔｈ　ｉｔ．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｉｎｄｉ—　ｃａｔｅ　ｔｈａｔ　ｔｈｅ　ｒｅｔｒｉｅｖａｌ　ｈａｓ　ａ　ｇｏｏｄ　ｐｅｒｆｏｒｍａｎｃｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｍａｇｅ　ｒｅｔｒｉｅｖａｌ；ＳＩＦＴ（ｓｃａｌｅ　ｉｎｖａｒｉａｎｔ　ｆｅａｔｕｒｅ　ｔｒａｎｓｆｏｒｍ）；ｃｏｌｏｒ　ｉｎｖａｒｉａｎｃｅ；ｇｌｏｂａｌ　ｃｏｎｔｅｘｔ