基于独立分量分析的图像融合算法
2024-04-13
来源:易榕旅网
维普资讯 http://www.cqvip.com 第33卷 第lO期 计算机工程 2007年5月 1.33 No.JD Computer Engineering May 2007 ・人工智能及识别技术・ 文章缡号:1oo _3428(2oo7)1o-_o22o-_o2 文献标识码:A 中圈分类号:TP312 基于独立分量分析的图像融合算法 吴强 ,王行愚 (1.驻511厂军代表室,南京210002;2.华东理工大学信息科学与工程学院,上海200237) 摘要:提出了一种基于独立分量分析(ICA)的图像融合算法。在图像配准的基础上,利用独立分量分析对图像进行训练获得独立分量基 函数。对于待融合图像,通过训练得到的基函数对图像进行线性变换,然后在变换域根据不同的融合规则对图像进行融合,ICA反变换得 到融合图像。仿真结果表明了该方法的有效性。 关健词:图像融合;独立分量分析;融合规则 Image Fusion Algorithm Based 0n Independent Component Analysis WU Qiang ,WANG Xingyu (1.No.5II Factory ofthePLA,Nanjing 210002;2.School ofInformation Science andEngineering,ECUS%Shanghai 200237) [Abstract]A novel image fusion algorithm based on independent component analysis is proposed.Suppose the images have been registered,the independent component analysis bases are obtained by ofifine training images with the same texture.The images are fused in the ICA transformed domain by diferent fusion rules.The result is got by inverse ICA rtansform.Experimental results demonstrate the effectiveness of the method. [Key words]Image fusion;Independent component naalysis;Fusion rules 1概述 与其他传统的方法如主分量分析等相结合,建立了基于独立 图像融合是利用多模成像传感图像的冗余与互补信息的 分量分析的图像融合框架,并在此框架下根据不同的融合规 融合处理来增强图像的清晰度,提高图像解析性,突出分析 则,提出了3种融合方法。与主分量分析PCA、小波变换 目标的特征信息。多传感器图像融合技术已广泛应用在机器 DWT等传统变换相比,ICA基图像具有较强的方向性,能够 视觉、医疗诊断、目视判读、影像制图、军事遥感等领域。 更准确地捕获图像的细微特征,因而可获得更好的融合效果。 由于不同成像传感器的工作机理不同,它们对同一目标(场景) 2独立分量分析 有着不同的响应,在目标影像中可能还存在图像局部区域的 独立分量分析(ICA)是在研究盲源分离过程中出现的一 对比度反转,如红外与可见光成像传感器的图像,因此图像 种全新的信号处理和数据分析方法。利用ICA方法,可以在 融合研究具有重要的理论研究意义与实际应用价值。 不知道源信号和传输通道的参数的情况下,根据输入源信号 目前已有的图像融合方法可分为3类,即像素级、特征 的统计特性,仅通过观测信号实时地恢复或提取源信号,所 级以及决策级融合…。传统的像素级多分辨图像融合方法, 以,它一出现就成为盲信号处理中最主要的方法之一,是当 包括基于拉普拉斯金字塔、梯度金字塔和小波变换等融合方 今信号处理领域的又一个研究热点,已经在诸如模式识别、 法,在对源图像进行多尺度分解和系数选取时,大都孤立地 数据压缩、图像分析等方面引起重视 J。 处理各个像素,割裂了像素间的联系。同时由于传统的小波 维观察信号矢量,ICA数学模型是x=As,其中混叠信号x:f : … 为 维未知源信号矢王, …,x 是 m]"r变换不具有平移不变性,在源图像没有或无法严格配准的情 m IT n 量, 况下,将直接影响融合效果。Ljl引等在基于小波融合的框架 A是未知的混叠矩阵。ICA就是仅根据观察信号x来估计源 下,利用支持向量机进行融合系数的选择提高了融合效果。 信号S,通过求解分离矩阵c,得到s的估计§:Cx。本文选 但这些方法都是建立在空域或频域处理的基础上,并没有考 用快速有效的FastlCA算法。 虑消除数据之间的冗余性,不能够满足融合处理的要求。 FastlCA算法是一种定点的独立分量分析法则。它对观 独立成分分析起源于盲源分离问题,它与主分量分析, 奇异值分解同属于线性变换技术,由于后两者按能量大小对 察信号先进行预白化,将观察信号x变换成v=rrx,使V的 分量具有单位方差且互不相关,v的自相关矩阵是单位阵。 数据进行分解,因此只能消除数据之间的二阶相关性。而在 FastlCA利用基于嵴度的目标函数 图像视频和音频处理及应用中,通常需要提取多组特征,特 征之间的相关性隐藏在高阶统计特性中。使用ICA方法能够 (D ):EI(DTv) ]一3{4(D,v/ ]1 :£『(D v) ]一3 DI『 ( ) 有效约减特征维数,保持特征的高阶相互独立性,比仅消除 分离矩阵的训练公式为 2阶相关性的主分量分析和奇异值分解方法更为有效。因此 基金项目:国家自然科学基金资助项目(60543005,60674089) 基于独立分量分析的图像融合近年来逐渐成为信息融合的重 作者筒介:吴强(】965一),高工、博士生,主研方向:图像处理; 要分支和研究热点”一J。 王行愚,教授、博导 本文重点研究了如何将独立分量分析用于图像融合,并 收稿日期:2007—04—13 E-mail:wq一9382@163.com 维普资讯 http://www.cqvip.com D( )=E[v(D(k一1)v) 】一3D(k—1) (2) 其中,权值Wt,w2通过主成分分析法自适应确定,用式(8)表示 如下: w=其中k是迭代次数。最后的分离矩阵C=D T。 3基于独立分量分析的图像融合 本文所提出的基于独立分量分析的图像融合框架的基本 l 1/f丑 lv2旷^( f81 (9 思想为首先利用ICA将图像变换到独立特征子空间,然后在 变换域根据一定的融合规则对图像特征系数进行自适应融 合,最后ICA逆变换得到融合图像。取平均,取最大值,加 权求和等传统的融合规则都可以平移到这一框架下。基本流 其中, W=[wl,w21 ,D】=eig(cov([ul,u2】)) (10) (11) y=(v,,v,)) 程如图1所示。 匝 里 卜I.1竺竺 T{_——) 变换系数u. _●一 T{) 变换系数u, 融合 规则 I融合图像}、-。_。________。__一・_—1组合}、-_。。・_____--…・IH T ¨}・l 融合系数U/l 由图1可以看出本文方法分为训练和融合2个阶段。 (1)训练阶段 训练的目的是为了获得基向量,以便下个阶段对图像进 行变换。对于图像g中任意一个像素点g(x, ),将其 (2n+1)X(2m+1)邻域看作一个图像块,如式(3)表示的区域。 f l ‘ 一?…j.y —m g(x一:, y) g‘ 一7…. ly ,"’] (3) lg( 十九,Y一, ) ... g( +n,Y+, )/ 将图像块写成矢量,作为一个观测信号。这样根据图像 中每个点都能得到一个对应的观测向量。选择M个观测信 号,进行ICA分解,得到基向量。 【A,C】=FastlCA(Fx) (4) 其中, =[ , ., 1是M个观测信号;C是分离矩阵或 变换矩阵,即图1中所需要的变换函数r,{ll;A是混叠矩阵, 即逆变换函数r, {.1。 假设待融合的N幅图像已经配准,对图像进行分块,对 每个小图像块进行融合。具体方法为将图像块写成矢量形式, 利用第1阶段得到的变换函数 {-}对其进行变换,得到变换 域的系数u ,在变换域对变换系数按照一定的融合规则进行 融合,融合后的系数记为U,。然后逆变换,再将每个图像块 组合得到融合后的图像。 本文所采用的融合规则包括以下3种(以2幅融合图像 规则1局部方差准则 u,: lu2 /f var( u 1)( va r(u 2) (5)J 其中,vat(・)表示向量的方差。 规则2平均准则 uf=旦 (6) 1 、v, 规则3加权平均准则 U,=WIUl+W2U2 (7) rj. o] 肚I o 厶I (12) 4仿真试验 为了验证本文算法的有效性,分别对模拟和实际图像进 行了图像融合试验。将基于融合规则1的方法记为方法1, 基于融合规则2的方法记为方法2,基于融合规则3的方法 记为方法3。融合结果采用PSNR进行平均。 试验1 用AIRPLANE图像产生了3幅具有不同局部失真的图 像,然后对其进行融合。如图2所示。其中图2(a)为原始图 像,图2(b)~图(d)为模拟产生的失真图像,图(e)~图(f)为3 种方法得到的融合结果。其中训练图像采用标准图像 HOUSE,式(3)中m:3,n=3。将融合图像与原始图像比 较,PSNR分别为18.984 5dB,19.881 6 dB和19.834 5 dB。 可以看出后两种方法得到的融合效果较好。 圈圈 (a)原始图像 (b)待融合图像1 (c)待融合图像2 冒 圈 (d)待融合图像3 (e)方法1的结果(PSNR=18.984 5dB) 圈(f)方法2的结果 圈(g)方法3的结果 fPSNR=19.88ldB) fPSNR=19.834 5dB) 圈2 AIRPLANE圈 合 试验2 采用实际拍摄的2幅具有不同聚焦的图像进行试验。2 幅待融合图像如图3(a)和图3(b)所示。各种方法融合结果如 图4所示。其中图4(a)为未经过ICA变换,直接在空间域2 幅图像进行融合的结果,权值的计算采用ICA得到;图4(b) 为未经过ICA变换,直接在空间域2幅图像进行融合的结果, 权值的计算采用PCA得到;图4(c)为在ICA变换域进行融合 的结果,可以看出本文的方法能够得到比较好的融合结果。 ■(a)待融合图像1 ■ (b)待融合图像2 圈3实际圈像 (下转第224页) 一221— 维普资讯 http://www.cqvip.com 表1实验数据集 数据集 Anneal Breast.cancer Credit—g 2.2实验结果与分析 6 2 2 训练例子数 建模属性数 类别数 898 286 l 0o0 38 9 20 如表2和图2所示,无结构风险时,所有数据集的分类 准确率都没有超过分类准确率的极限,这说明此时的分类准 C;lass Heart—statlog Hypothyroid Letter Sonar Soybean V0te 2l4 270 3 772 20 000 208 683 435 9 l3 29 l6 60 35 l6 7 2 4 26 2 l9 2 确率是存在极限的;同时在无经验风险情况下,虽然绝大多 数的尸2≤P ,但也有P2>P 的情况出现,在Glass和 Hypothyroid 2个数据集上,决策树模型的结构风险与经验风 险抵消使得准确率上升,印证了此时决策树分类准确率并不 存在。 对数据集分别建立决策树和最大分类树,参照图1所示 的研究方法分离出经验风险和结构风险单独作用时的分类准 确率P,、P2,对于有测试集的数据集参照1.2节提出的测算 方法得到分类准确率极限理论值P ,结果见表2和图2。 表2有风险分类准确率与分类准确率极限 数据集 Anneal Breast.cancer Credit—g 3结论 针对决策树模型的经验风险和结构风险,本文设计了基 于最大分类树的组合分析模型,分离出经验风险和结构风险 的估计值,得到了决策树分类准确率极限的计算方法,讨论 和建立了关于决策树模型分类准确率极限的存在理论,进而 使用UCI的公开数据集进行验证。 无结构风险 无经验风险 分类准确率P. 分类准确率P 99 78% 75_87% 70.5% 99.78% 76 22% 85.50% 分类准确率 极限P l00 o0% 97 90% l00 00% 进一步的研究工作是找出分类准确率极限与数据的不同 分布情况的关系,这可能成为改进决策树模型效果的一个方 向。另外,今后工程师们建立决策树模型可以参考该数据集 分类准确率的极限,以便衡量该模型是否足够优秀,主要的 误差是经验风险还是结构风险。 C;lass Heart-statlog Hypothyroid Letter Sonar Soybean Vbte 66 82% 76 67% 98.99% 87.98% 7l l5% 9l 51% 96.32% 96 26% 91.48% 99.8l% 96.34% 98 08% 96.34% 97.24% 88.78% 99 63% 99l5% lo0% l00% 99-85% l00% 参考文献 1史忠植.知识发现[M】.北京:清华大学出版社,2002. 2 Hall M A.Holms G Benchmarking Attribute Selection Techniques for Discrete Class Data Mining[J].IEEE Transactions on Knowledge and Data Engineering,2003,l5(6):1437—1447. 3 Peng Y Flach E Soft Discretization to Enhance the Continuous Decision Tree Induction[C]//Proc.of ECML/PKDD’01.2001: 109一l18. 4 Dong M,Kothari R.Classiiabilfity Based Pruning of Decision Trees[C]//Proceedings of International Joint Conference on Neural Networks,Washington,D.C..2001:1739—1743. —・一无结构风险分类准确率Jt一分类准确率理论极限 —・一无经验风险分类准确率 5 Zhao Huimin,Sinha A E An Eficifent Algorithm for Generating 一Generalized Decision Forests[J].IEEE Transactions on Systems,Man and Cybernetics(Part A),2005,35(5):754—762. 圈2有风险分类准确率与分类准确率理论极限 (上接第221页) Fusion[J].IEEE Transactions on Image Processing,2004,l 3(2): ■一■ (a)空域ICA计算 权值的融合结果 (b)空域PCA计算 权值的融合结果 (c)本文方法3 的融合结果 228.237. 2 Li Shutao,Tin—Yau K J,Wai—Hung T I,et a1.Fusing Images wih tDiferent Focuses Using Support Vector Machines[J].IEEE Transactions on Neural Networks,2004,l5(6):1555—1561. 3 Mitinoudias N,Stathaki Adaptive Image Fusion Using ICA Bases[C】 //Prc.of IEEE Ionternational Conference on Acoustics,Speech and Signal Processing.2006.2:829—832. 圈4 lit合结果 4杨磊,田捷,胡瑾,等.功能磁共振成像与脑电的融合及其 5结论 本文提出了一种基于独立分量分析的图像融合算法。首 先由训练图像得到变换函数,然后对图像进行ICA变换,在 变换域按照一定的融合规则对变换系数进行融合,并利用主 成分分析法自适应确定系数融合权值,最后经ICA逆变换得 到融合图像。仿真结果表明本文算法有效实现了图像融合。 应用【JJ.软件学报,2006,l7(9):1867—1875. 5 Hyvrinen A,Oja E.A Fast Fixed-point Algorithm for Independent Component Analysis[J].Neural Computation,l 997.9(7):1483-1492. 6 Treskatis S k,Orgeldinger V'Wolf H.et a1.Morphological Characterization of Filamentous Microorganisms in Submerged Cultures by On-line Digital Image Analysis and Pattern Recogniion t【JJ.Biotechno1.Bioeng.,1997,53(2):l91-201. 7 Brau S,Vecht—Lifshitz S E.Mycelial Morphology and Metabolite 参考文献 1 Petrovic V S,Xydeas C S.Gradient—based Multiresolution Image roductPion[J].Trends Biotechno1.1991.9f2):63.68. _224.一