基于组合特征的车牌字符识别

仪器仪表学报

ChineseJournalofScientificInstrument

Vol127No17Jul12006

基于组合特征的车牌字符识别

3

路小波　凌小静　刘　斌

(东南大学教育部智能运输系统工程研究中心　南京　210096)

摘要　提出了基于Zernike矩和小波变换特征相结合的车牌字符识别方法。利用Zernike矩描述字符全局特征,小波变换系数描述字符细节特征,采用神经网络进行车牌字符分类。测试结果表明,这种组合了两种特征优点的方法实用有效,识别效果优于两种特征独立使用的情况。

关键词　车牌字符识别　Zernike矩　小波变换　特征提取

中图分类号　TP2　文献标识码　A　国家标准学科分类代码　520.604

LicenseplatecharacterrecognitionbasedonthecombinedfeaturesLuXiaobo　LingXiaojing　Liu　Bin

(EngineeringResearchCenterforIntelligentTransportationSystemsunderMinistryofEducation,

SoutheastUniversity,Nanjing210096,China)

Abstract　ThispaperpresentsamethodoflicenseplatecharacterrecognitionbasedonthecombinationofZernikemomentandwavelettransformationfeatures.TheZernikemomentisusedtodescribetheglobalfeatureofthecharacters,andthewavelettransformcoefficientforthedetailedfeatureofthecharacters.Aneuralnetworkisusedtoclassifythelicenseplatecharacters.Experimentalresultsshowthepresentedmethodachievesbetterrecognitionaccuracythanusingtwofeaturesseparately.

Keywords　licenseplatecharacterrecognition　Zernikemoment　wavelettransform　featureextraction

1　引　　言

　　车牌自动识别技术在智能交通系统中具有重要

的应用价值,其中的关键技术是车牌定位和车牌字符识别。国内外学者在车牌定位和字符识别方面进行了大量研究[123],促进了该领域的发展。这里主要对车牌字符识别进行研究,在车牌定位的基础上,进行车牌字符特征提取和字符分类。　　车牌识别系统工作在室外环境,拍摄的图像易出现变形失真,且分辨率低、易受各种因素干扰,采用传统的字符识别(OCR)方法进行车牌字符识别难以取得理想效果。车牌字符识别的典型方法是基于模板匹配的识别方法[122],但模板匹配法对车牌图

像的伸缩、倾斜及背景干扰比较敏感,识别效果不够理想。

　　一些矩函数能够较好的提取全局特征。Teh[4]评价了各种不同类型的图像矩,发现Zernike矩具有最好的综合性能。Khotanzad[5]的研究也表明,使用Zernike矩的神经网络分类器有很强的类分离能力。由于多数矩特征仅仅提取了图像的全局信息,用它们很难区分一些相似的字符,特别是在字符受噪声干扰的情况下。　　字符图像在不同分辩率上的细节反映了字符的不同结构特征,Lee[6]将二维小波变换应用于手写体数字识别,并且对ETL样本库中的字符进行了测试,得到很好的识别效果。　　这里将Zernike矩和小波特征相结合,提出了

3本文于2005年2月收到,系高等学校科技创新工程重大项目培育资金(705020)、江苏省自然科学基金(BK2004077)资助项目。

　第7期路小波等:基于组合特征的车牌字符识别　699

基于组合特征的车牌字符识别方法。利用Zernike矩提取字符全局特征、小波变换提取字符细节特征,采用神经网络进行车牌字符分类,组合特征综合了两种特征方法的优点,识别结果优于两种特征独立使用的情况。

2.3　矩特征向量维数的选取

　　好的特征集应该能够很好的刻画和描绘原图像,原图像与从其矩的有限集重构之间的差异,可作为衡量这个矩集描绘原图像能力的测度[8]。　　假设^fi(x,y)表示使用图像f(x,y)的0到i阶矩进行重构后的二值图像。　　^fi(x,y)=F)∑∑ZnmVnm(ρ,θ

i

2　Zernike矩特征提取

2.1　图像的Zernike矩

)定义为在极坐　　n阶的Zernike多项式Vnm(r,θ

标系中r,θ的函数[7]:

θ

)=Rnm(r)eim　　Vnm(r,θ

n=0m

Πx,y(7)

　　这里F表示映射到灰度区间[0,255],直方图均衡后进行二值化。

　　用^fi和f之间的Hamming距离H(^fi,fi)作

ε(ε是阈为表征两者差异的测度。如果H(^fi,f)≤值),则i阶矩就具有了足够的信息表征原图像f

(x,y)。

(1)

式中:Rnm(r)是一实数值的径向多项式,由下式给出:

　　Rnm=∑Bnmkrk;(m≥0,n-k为偶数)

k=mn

(2)

3　小波变换特征提取　　小波变换可通过系数矩阵表征字符图像不同分　　这里:

(-1)

(n-k)/2

n+k　　Bnmk=

2k+m!

n-k2

!

2

!

k-m(3)!辨率上的特性。字符图像在不同分辨率的细节表征字符不同的结构,小波变换的系数可作为表征字符的特征。

　　对图像f(x,y)进行正交小波分解[9],在分辨率

2

2j,A2djf代表信号的低频分量,D12jf和D2jf分别代

j表y和x方向的高频分量,D32f代表对角方向的高

2　　对N×N数字图像f(x,y),其p阶q重Zerni2

ke矩为:

NN

p+1)f(x,y)　　Zpq=∑∑V(r,θ

π(N-1)2x=1y=1pq

(4)

式中:r=(x2+y2)2/N,θ=tan-1(y/x)2.2　Zernike矩特征提取

1频分量。

　　假设图像的Zernike矩为Znm,可以证明[8],旋转后图像的Zernike矩Znm′为:

α)　　Znm′=Znmexp(-jm

(5)

4　Zernike矩和小波变换特征组合

　　假设两个字符样本,它们有着相似的形状,它们的Zernike矩特征分别用|Z1pq|和|Z2pq|表示,则有[10]:

(8)　　|Z1pq|=|Z2pq|+Δzpq+Npq

式中:Δzpq为两个字符样本特征元素之间的差异,

Npq为计算误差。

　　从式(5)可以看出,Zernike矩的数值在旋转后没有变化。因此,|Znm|可以看作是一个旋转不变量。因为Zn,-m

3

=Znm,则|Znm|=|Zn,-m|,所以只要

考虑m≥0时的|Znm|作为特征。

　　通过将原图像f(x,y)进行变换,得到g(x,y),

可实现尺度和平移不变性:　　g(x,y)=f

xy+x,+yaa

　　由于Zernike矩定义为径向变量r圆内的全局径向函数,它是在整个字符图像空间的积分,弱化了

局部细节,Δzpq值就较小,Npq值较大。因此Zernike矩趋向于将有相似形状的字符样本识别为同一字符,而不管这些样本是否来自同一字符,这种特性有利于识别属于相同类别却有着较大形状差异的字符,但对属于不同类别却具有相似形状的字符识别不利。

2jj

　　小波分解后,D12f和D2f分别代表y和x方

(6)

m10m01,y=;m00m00

p

q

式中:(x,y)是f(x,y)的中心,x=

a=β/m00,β为一限定值;mpq=∑∑xyf(x,y)。

p=0q=0

N-1N-1

　　实现尺度和平移不变,会影响两个Zernike矩

特征:|Z00|和|Z11|。可以证明,|Z00|=β/π,|Z11|=0。因此|Z00|和|Z11|不用作字符分类的特征。

　700仪　器　仪　表　学　报第27卷

向的高频分量,D32jf代表对角方向的高频分量,因

23此D1D2jf和D2jf描述了字符不同分辨率下的2jf、

细节特征,因此小波变换在识别具有相似形状的不同类字符时有着很好的效果。　　如果将小波变换特征和Zernike矩特征进行组合,形成车牌字符特征向量,Zernike矩特征提取字

符的全局信息,小波特征提取字符的细节特征,则有可能同时利用字符图像的细节信息和全局信息,从而得到更好的分类性能。

图1　字符特征向量维数为95时神经网络训练曲线

5　测试结果

　　采用从高速公路收费站现场拍摄的图像,将经

过车牌定位、字符分割后得到的字符分为两组,一组作为训练样本集,如表1所示,另一组作为测试样本集,如表2所示。由于所采集的样本中汉字和字母数量较少,所以样本集中只包含数字。

表1　训练样本集

字符数量

066

152

261

377

436

540651

753

849

964　　采用表2的测试样本集,利用训练收敛后的神

经网络进行车牌字符识别,识别结果如表3所示。　　为显示该方法的优点,基于同样的训练样本集和测试样本集,笔者分别采用Zernike矩特征提取方法和小波变换特征提取方法,采用3层神经网络进行车牌字符识别。　　基于Zernike矩特征提取方法,特征向量维数47,神经网络输入层节点数为47个,输出层节点数为10,经试验,取隐层节点数为8,利用表1的训练样本集进行神经网络训练,训练结果如图2所示,识别结果如表3所示。

表2　测试样本集字符数量

091

163

242

339

436

534

633

732

848

943

　　通过上节的分析,这里将Zernike矩和小波变

换特征组合形成特征向量,采用3层(输入层、隐层、输出层)BP神经网络进行车牌字符识别。　　采用表1的训练样本集,利用2.3节的方法选取矩特征向量的维数。10个字符各有其合适的矩特征向量维数,为便于后面的分类,各字符的特征数应该一致。因此,这里选择其中最大的维数12作为字符矩阶数,除去不作为特征的|Z00|和|Z11|,Zernike矩共有47个特征元素;对字符图像进行两

23

级小波分解,取第2级高频分量D1D2jf和D2jf2jf、

共48个特征值,因此特征向量共有47+48=95个元素。　　采用3层BP神经网络进行车牌字符识别。字符特征向量维数95,因此神经网络有95个输入节

图2　字符特征向量维数为47时神经网络训练曲线

　　基于小波变换特征提取方法[6],对字符图像进

1

行两级小波分解,取两级小波分解分量A2djf、D2jf、

D2jf和D2jf共320个特征值,神经网络输入层节

2

3

点。采用表1的训练样本集对神经网络进行训练,

输出层10个节点,经试验,取隐层节点数为16,训练结果如图1所示。

点数为320个,输出层节点数为10,经试验,取隐层节点数为39,利用表1的训练样本集进行神经网络训练,训练结果如图3所示,识别结果如表3所示。　　从以上测试结果可以看出,同两种独立特征识别方法相比,文中提出的基于组合特征的方法分类神经网络收敛快、识别率高。

　第7期路小波等:基于组合特征的车牌字符识别

表3　识别结果

字符总数

0918795.608997.808896.70

1635892.065485.715892.06

24242100.003992.864197.62

3393897.443692.313897.44

43636100.003597.223597.22

5343294.123191.183191.18

6333193.943090.913296.97

73232100.003093.752990.63

8484695.834593.754491.67

　701

9434297.674093.024195.35

组合特征方法识别数组合特征方法识别率/%

Zernike矩特征识别数Zernike矩特征识别率/%

小波变换特征识别数小波变换特征识别率/%

[3]　黄卫,路小波,余彦翔,等.基于小波与纹理分析的汽

车牌照定位[J].中国工程科学,2004,6(3):1622.

[4]　TEHCH.Onimageanalysisbythemethodsofmo2

ments[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1988,10(4):496

513.

[5]　KHOTANZAD.Classificationofinvariantimagerep2

resentationsusinganeuralnetwork[J].IEEETrans.onAcoustics,Speech,andSignalProcessing,1990,38(6):1028

图3　基于小波变换特征提取方法的神经网络训练曲线1038.[6]　LEESW.Multi2resolutionrecognitionofuncon2

strainedhandwrittennumeralswithwavelettransformandmulti2layerclusterneuralnetwork[J].PatternRecognition,1996,29(12):1953

1961.

[7]　王耀明.图像的矩函数[M].上海:华东理工大学出版

6　结　　论

　　由于车牌识别系统工作在室外环境,使得车牌字符识别具有特殊性,采用传统的字符识别方法效果不佳。文中提出了基于Zernike矩和小波变换组合特征的车牌字符识别方法,Zernike矩特征提取字符的全局信息,小波特征提取字符的细节特征,通过对收费站现场采集的车牌字符的测试表明,该方法具有很好的识别效果,识别结果优于两种特征独立使用的情况。　　参考文献

[1]　COMELLIP.Opticalrecognitionofmotorvehicleli2

censeplates[J].IEEETransactionsonVehicularTechnology,1995,44(4):790

799.

[2]　NAITOT.Robustlicenseplaterecognitionmethod

forpassingvehiclesunderoutsideenvironment[J].IEEETransactionsonVehicularTechnology,2000,49(6):2309

2319.

社,2002.

[8]　KHOTANZADA,HONGYH.Invariantimage

recognitionbyZernikemoments[J].IEEETransac2tionsonPatternAnalysisandMachineIntelligence,1990,12(5):489

497.

[9]　夏良正.数字图象处理[M].南京:东南大学出版

社,1999.

[10]　CHAOK,SRINATHMD.Combinedfeaturesof

cubicB2splinewaveletmomentsandZernikemomentsforinvariantcharacterrecognition[A].In:Proceed2ingsofInternationalConferenceonInformationTech2nology[C].LasVegas,2001:511

515.

　　作者简介

路小波　1965年7月出生　工学博士　教授　主要研究方向为仪器与测试技术　道路交通图像处理与识别　视频交通信息检测技术等。

E2mail:xblu@seu.edu.cn