基于优化卷积神经网络的表面缺陷检测

　ｄｏｉ:１０.３７７２/ｊ.ｉｓｓｎ.１００２￣０４７０.２０１９.０６.００６

基于优化卷积神经网络的表面缺陷检测①

姚明海②　袁　惠

(浙江工业大学信息工程学院　杭州３１００２３)

摘　要　卷积神经网络(ＣＮＮ)具有权值数量少ꎬ训练速度快等优点ꎬ在图像识别、机器视觉等领域得到广泛应用ꎮ本文提出了一种卷积神经网络的自适应加权池化算法ꎬ算法通过生成合并通道ꎬ并在学习掩模的引导下汇集特征ꎬ优化了子采样模型的特征提取ꎬ有效改善了网络的识别准确性和快速性ꎮ利用该算法对磁片表面缺陷进行检测实验ꎬ实验结果表明ꎬ本文提出的池化模型使卷积神经网络对特征的提取更加精确ꎬ同时提高了收敛速度和鲁棒性ꎬ并且可以应用于各种深度神经网络体系结构中ꎮ

关键词　卷积神经网络(ＣＮＮ)ꎬ自适应加权池化模型ꎬ缺陷检测ꎬ子采样

等优点ꎬ在图像分类与识别[４]、自然语言识别、语音的识别与合成[５ꎬ６]、信号处理和人脸识别[７]等方面有着广泛的应用ꎮ

随着对网络性能的要求越来越高ꎬ国内外学者做了很多研究ꎬＨｕａｎｇ等人[８]通过构建局部卷积受限玻尔兹曼机模型来提升网络学习的性能ꎮ周飞燕等人[９]通过增加ＣＮＮ的深度ꎬ从而使特征面数增加ꎬ网络能够表示的特征空间增大ꎬ网络的学习能力也相应增强ꎮＨｏｗａｒｄ等人[１０]通过深度可分离卷积的方式来代替传统的卷积方式ꎬ这种卷积结构可以极大地降低卷积神经网络的复杂度ꎬ减少模型的参数数量和计算量ꎮＬｉｕ等人[１１]建议使用卷积层激活的子阵列作为局部特征ꎬ并使用连续卷积层的特征图作为汇集信道ꎬ然后ꎬ将提取的特征与这些汇集通道合并ꎬ以生成更稳健的图像表示ꎮ

传统的池化操作都有其自身的局限性和缺点ꎮ关于最大池化ꎬ它仅考虑最大元素并忽略池化区域中的其他元素ꎮ如果汇集区域中的大多数元素具有高幅度ꎬ则在最大池化之后区别特征消失ꎮ关于平均池化ꎬ它计算合并区域内所有元素的平均值ꎮ该算子将考虑所有低幅度ꎬ并且将减少汇集后新特征

０　引言

表面缺陷的自动检测是机器视觉在现代工业自动化生产中的重要应用ꎮ传统的表面缺陷检测主要是通过人工来识别缺陷ꎬ为了解决这个问题ꎬＷｉｎ等人[１]提出对比度调整的Ｏｔｓｕ方法和基于中值的Ｏｔ￣ｓｕ方法ꎬ用于检测表面缺陷ꎮＳａｙｅｄ[２]提出使用熵滤波和最小误差阈值的表面缺陷检测算法来识别缺陷ꎮＹａｎｇ等人[３]提出了一种基于平稳小波变换的磁瓦图像缺陷提取方法ꎮ随着信号处理理论和计算机技术的发展ꎬ基于图像传感器和图像处理技术的机器视觉自动检测系统得到了广泛的应用ꎮ与传统方法相比ꎬ机器视觉检测技术具有非接触、高速度、高精度、低成本等优点ꎮ由于磁片表面对比度低、磨痕纹理干扰和缺陷块小且亮度变化大等难点ꎬ传统的模式识别方法想要分割出各种情况下的缺陷是十分困难的ꎮ大多数方法都是针对特定缺陷或者特定光源场景条件下进行检测ꎬ缺乏一定的通用性ꎮ近年来ꎬ深度学习的代表卷积神经网络(ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋꎬＣＮＮ)具有权值数量少、训练速度快

①②

—５６４—

国家自然科学基金(６１８７１３５０)资助项目ꎮ

男ꎬ１９６３年生ꎬ博士ꎬ博士生导师ꎬ教授ꎻ研究方向:模式识别和图像识别ꎻ联系人ꎬＥ￣ｍａｉｌ:ｙｍｈ＠ｚｊｕｔ.ｅｄｕ.ｃｎ(收稿日期:２０１８￣０９￣２０)

姚明海等:基于优化卷积神经网络的表面缺陷检测

图的对比度ꎮ如果有许多零元素ꎬ特征图的特征将大大减少ꎮ为了改善卷积神经网络对图像识别能力的有效性和鲁棒性ꎬ本文在深度卷积神经网络中融入预定义数量的自适应加权掩模和汇集通道ꎬ并结合经典池化模型ꎬ提出一种自适应加权池化(ａｄａｐ￣ｔｉｖｅｗｅｉｇｈｔｅｄｐｏｏｌｉｎｇꎬＡＷＰ)模型ꎬ以提高模型的准标准池操作的直接替代ꎬ因此它们可以与其他性能提升技术或替代架构[１２ꎬ１３]一起使用ꎮ基于该模型确率及网络的学习能力ꎮ本文所提出的方法可作为

器的方法ꎬ并且还响应性地组合这些过滤器ꎮ

２　自适应加权池化模型

卷积操作后ꎬ得到了一张张有着不同信息的特征图谱ꎬ数据量比原图少了很多ꎬ但深度学习的训练图片数量比较庞大ꎬ模型的计算过于复杂ꎮ而池化操作可以对输入的特征图进行压缩ꎮ它一方面使特征图变小ꎬ简化网络计算复杂度ꎻ另一方面提取主要的卷积神经网络应用在磁片表面缺陷检测上ꎬ不仅能提高检测的准确率ꎬ而且能满足工业生产流水线上实时检测的需求ꎮ

１　池化模型改进的可行性研究

特征提取的有效程度往往决定卷积神经网络的学习性能ꎬ所以对特征提取过程(卷积和池化)进行优化与改进来提高算法的收敛速度和准确率等特性具有可行性ꎮ池化算法的选择决定了子采样提取到特征的有效性ꎬ从而对模型的准确率产生影响ꎬ因此池化操作在提高网络性能方面发挥着核心作用ꎮ

近年来ꎬ学者们的研究集中在复杂的网络结构、卷积层以及非线性激活函数上ꎮ实际上ꎬ很多理论和实验研究表明ꎬ在池化函数以及池化参数方面的改进ꎬ能在很大程度上提高网络的学习性能ꎬ会大幅提升图像分类效果ꎮ池化操作的参数有池化域的大小、池化步长等ꎬ这些参数也会在不同程度上影响池化操作的结果ꎮ国内外很多学者在池化方面做了研究ꎬＧｉｕｓｔｉ等人[１４]通过使用最大池化模型的卷积神经网络实现了图像的快速扫描ꎮＧｏｎｇ等人[１５]使用多尺度无序池化解决了卷积神经网络全局激活缺乏几何不变性的问题ꎮＨｅ等人[１６]提出了空间金字塔池化(ｓｐａｔｉａｌｐｙｒａｍｉｄｐｏｏｌｉｎｇꎬＳＰＰ￣ＮＥＴ)方法ꎬＳＰＰ￣ＮＥＴ像表示ꎬ将区域卷积神经网络将任意大小的图像池化生成固定长度的图(ｒｅｇｉｏｎｗｉｔｈＣＮＮꎬＲ￣

ＣＮＮ)检测的速度提升２４ꎬ大大增强了深度卷积神经~１０２倍ꎮＨｕ等人[１７]提出的空间权重池化模型网络对于细粒度分类的鲁棒性和有效性ꎮＬｅｅ等人[１８]引入树池的思想ꎬ这是一种学习不同池化过滤特征ꎮ池化的两个主要作用是:(１)不变性ꎬ包括平移ꎬ旋转ꎬ缩放ꎻ这种不变性体现在光照或位置等外界扰动的鲁棒性和特征表示的紧凑性上ꎮ通常ꎬ汇集层总结了相同内核映射中相邻神经元组的输出ꎮ在池化层中ꎬ通过在前一层的特征图上汇集局部邻域来减少特征图的分辨率ꎬ使得在输入失真的情况下也能保证不变性ꎮ(２)汇集主要的特征同时减少参数达到降维的目的ꎬ效果类似主成分分析[１９](ｐｒｉｎｃｉｐａｌ合ꎬ提高模型泛化能力ｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓꎬꎮ

ＰＣＡ)ꎬ可以防止过拟经典的池化操作有２种ꎬ即平均池化和最大池化ꎮ在池化的时候ꎬ如果取区域均值ꎬ往往能保留整体数据的特征ꎬ能突出背景的信息ꎻ而如果取区域最大值ꎬ则能更好保留(主要的)纹理上的特征[２０]在从深度卷积神经网络的卷积层提取卷积特征图ꎮ(ｃｏｎｖｏｌｕｔｉｏｎａｌ行传统的最大池或平均池以获得图像表示ｆｅａｔｕｒｅｍａｐꎬＣＦＭ)之后ꎬ可以直接执ꎮ本文提

出了一种新的汇集策略———自适应加权池ꎬ可以显著提高磁片分类的性能ꎮ该策略结合最大池和平均池的优点ꎬ同时将自适应加权掩模融入汇集操作ꎮ该模型将联合特征表示转换为更有用的表示ꎬ保留重要信息ꎬ同时丢弃不相关的细节ꎮ

与传统的池化方法相比ꎬ自适应加权池包含预定义数量的加权掩模ꎬ并在学习掩模的引导下汇集从前一层提取的特征ꎮ此外ꎬ它可以在深度卷积神经网络的端到端训练过程中学习ＡＷＰ层的参数ꎮ自适应加权池将加权掩模视为多组池化通道ꎬ这些掩模可以指示卷积神经网络用于识别磁片的缺陷区域ꎮ从这些判别区域提取的特征对汇集特征有显著的效果ꎬ然后通过学习到的加权掩模来确定最大池

—５６５—

高技术通讯　２０１９年６月第２９卷第６期化和平均池化的“响应”混合比例ꎻ这种方法可以使池化混合比例自动根据当前池化域中的特征而变化ꎬ即自适应的池化ꎮ

自适应加权池函数如下所示:ＰＡＷＰ(Ｘ)＝Ｓ(ｆＡＷ)Ｐｍａｘ(Ｘ)

＋(１－Ｓ(ｆＡＷ))Ｐａｖｅ(Ｘ)

(１)

其中ꎬｌ为损失函数ꎬΔ＝

∂ｌ

表示高层反向传播到底∂ｐ

层的误差ꎬ１[􀅰]为０/１指数函数ꎮ

３　实验与结果分析

本文采用深度卷积神经网络ＡｌｅｘＮｅｔ[２１]和ＲｅｓＮｅｔｓ[２２]进行实验ꎬ应用在铁氧体磁片表面进行缺陷检测ꎮ池化层分别使用最大池化模型、平均池化模型以及本文提出的自适应加权池化模型进行实其中ꎬＰＡＷＰ表示自适应加权池层的输出ꎬＳ(􀅰)表示ｓｉｇｍｏｉｄ函数ꎬ它的输出用作最大值和平均值之间的混合比例ꎻｆＡＷ为判别区域提取的特征ꎻ最大池化Ｐｍａｘ(Ｘ)＝ｍａｘ(Ｘｉ值ꎻＸ)选取区域中最大的值作为特征ｉ表示局部区域的像素值ꎻ平均池化Ｐａｖｅ＝

１

Ｎ∑Ｎ

ｉ＝１Ｘｉ

指计算区域中的平均值作为特征值ꎻＮ为局部区域像素的个数ꎮ

假设提取的特征图可以表示为大小为Ｈ×Ｗ×

Ｄ的张量ꎬ其中ＨꎬＷ表示每个特征图的高度和宽度ꎬＤ表示特征图的数量ꎮ可以将自适应加权池层的加权掩模公式化为Ｈ×Ｗ大小的Ｋ个合并通道ꎮ这些掩模的高度和宽度与要输入的特征图的大小相同ꎮ第ｋ个学习掩模的汇集特征ꎬ表示为ｆｔＡＷ通过下式计算:

ꎬ可以ｆ

ｔＡＷ

＝

其中ꎬｘｔ∑Ｈ×Ｗｔ

ｉ

ｂｋｉｘｔ

ｉ(２)

ｉ表示输入第ｔ张特征图的第ｉ个局部特征ꎬｂｋｉ是第ｋ个学习掩模中的对应系数ꎮ

为了训练具有自适应加权池层的深度卷积神经网络(ｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋꎬＤＣＮＮ)ꎬＤＣＮＮ像ꎮ这意味着可以通过反向传播损失的梯度来训练需要从损失函数的导数反向传播到输入图加权掩模的参数ꎮ假设Ｍ是ＡＷＰ层中的学习掩模的集合ꎬ并且具有Ｈ×Ｗ×Ｋ的大小ꎬＫ表示掩模的数量ꎮＸ是ＡＷＰ层的输入特征图ꎬ其尺寸为Ｈ×Ｗ×Ｄꎮ由以下公式ꎬ可以获得掩模的参数:

∂∂Ｍｌ＝∂∂ｐｌ􀅰∂∂Ｍ

ｐ

＝Δ􀅰Ｓ(ｆＡＷ)􀅰[１－Ｓ(ｆＡＷ)]􀅰Ｘ􀅰(Ｐｍａｘ－Ｐａｖｅ)

(３)

∂∂Ｘｌ＝∂∂ｐｌ􀅰∂∂Ｘ

ｐ

＝Δ[Ｓ(ｆＡＷ)􀅰(１－Ｓ(ｆＡＷ))􀅰Ｍ􀅰(Ｐｍａｘ－Ｐａｖｅ)＋Ｓ(ｆＡＷ)􀅰１[Ｐｍａｘ]—５６６—

＋(１－Ｓ(ｆＡＷ))􀅰

１

Ｎ

](４)

验ꎬ并比较了它们的性能ꎮ３.１　图像预处理

铁氧体磁片原图来自浙江省某磁片厂ꎬ采用６５９ｂａｓｌｅｒ工业相机拍摄了１０５０张磁片图片ꎬ分辨率为

坑ꎬ部分样本如图×４９４ꎬ表面缺陷主要表现为边缘磕碰导致的凹１所示ꎮ图像预处理主要分为背景分割、感兴趣区域的图像增强和图像分块３步骤ꎮ首先进行背景分割ꎬ将圆磁片和背景进行分离ꎮ本文采用的是结合边缘轮廓检测的模板匹配方法ꎬ由于磁片在流水线上运动时ꎬ光源与磁片存在各个角度ꎬ磁片周围存在一个较浅的黑色光晕ꎮ本文根据圆磁片表面轮廓与背景像素差距较大的特点ꎬ通过轮廓提取方法ꎬ找到轮廓并加黑像素ꎬ加深这种像素偏差ꎬ生成新的模板ꎬ大大提高了模板匹配的准确度ꎬ感兴趣区域提取结果如图２(ａ)所示ꎮ

图１　原始瓷片图

姚明海等:基于优化卷积神经网络的表面缺陷检测

然后进行图像分块ꎬ这是一种数据扩充的方法ꎬ同时由于缺陷面积小ꎬ这样也能突出缺陷特征ꎮ经过实验分析ꎬ为了使缺陷特征都能包含在一个窗口中ꎬ本文以圆心处１８°扇形区域的外接矩形作为一个分块单元ꎬ每次以圆心到外接矩形的中心为轴顺时针旋转１８°ꎬ确定出新矩形的位置ꎬ如图２(ｂ)所示ꎮ这样每个分割窗口的重叠率为１５.４％ꎬ还保留了轮廓信息ꎬ这样每个磁片图像能得到２０个分块图像数据ꎬ所有的最终图像都经过均值化和归一化处对于ＡｌｅｘＮｅｔꎬ本文通过在最后一个最大池和第一个完全连接层之间插入自适应加权池层ꎮ对于ＲｅｓＮｅｔｓꎬ本文不是在平均池层和全连接层之间插入自适应加权池层ꎬ而是分别用自适应加权池和最大池替换平均池ꎬ并在自适应加权池层和最后一个全连接层之间插入一个额外的全连接层和批量标准层ꎬ以保持快速训练ꎮ掩码数量会影响自适应加权池方法的质量ꎬ实验从{１ꎬ４ꎬ９ꎬ１６ꎬ２５}中设置掩码Ｋ的数量ꎮ理ꎮ图像分块处理不仅能大大扩大数据集ꎬ而且能完整地突出缺陷特征ꎬ减小后续ＣＮＮ的网络参数ꎮ

图２　图像预处理结果

３.２　实验过程

本文总共采集到１０５０张磁片样本ꎬ切割完经筛选后共得到１８０００张子图像ꎬ将１４０００张作为训练集ꎬ２０００张作为验证数据ꎬ２０００张作为测试数据ꎮ在磁片数据集上ꎬ本文主要针对磁片凹坑缺陷进行检测ꎮ

本文实验设备是一台显卡为ＴｅｓｌａＫ４０Ｃ的服务器ꎬ使用ＴｅｎｓｏｒＦｌｏｗ框架ꎮ在本文的实验中ꎬ使用预训练的ＤＣＮＮ、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔｓ作为基础网络模型ꎬ评估自适应加权池化方法引起的性能改进ꎮ训练时使用Ｘａｖｉｅｒ初始化网络参数ꎬ将ＡｄａｍＯｐｔｉｍｉｚｅｒ作为优化器的优化算法ꎬｓｏｆｔｍａｘ交叉熵损失函数作为损失函数ꎮ网络训练的超参数如下:批处理大小(ｂａｔｃｈ定标准偏差ｓｉｚｅ)为０.００５１２８ꎬ的随机权重来初始化加权掩模层通过从高斯分布绘制的具有固和全连接层ꎮ对于卷积层ꎬ初始学习率设置为０.置为００１ꎬ０.对于加权掩模层和全连接层０１ꎮ在每４０个训练时期之后ꎬ初始学习率设ꎬ学习率除以使用１０ꎬ这些模型需要经过多达０.０００５的权重和０.９的动量衰减９０个时期的训练ꎮ

ꎮ本文

３.３　结果分析

本文提出的自适应加权池化模型代替原来的最大池与平均池ꎬ在ＡｌｅｘＮｅｔａｎｄＲｅｓＮｅｔｓ结构上进行实验ꎬ表１为几种模型的卷积神经网络对磁片检测的精度ꎮ由表１可以看出ꎬ在ＡｌｅｘＮｅｔ中应用自适应加权池模型ꎬ检测精度由原来的６８％提升到８６％方面ꎻＲｅｓＮｅｔｓꎬ也明显优于传统的池化方法结合的自适应加权池模型ꎮ表２ꎬ在精确度为随着Ｋ

值的变化ꎬ自适应加权池的性能变化ꎬ结果表明ꎬ对

表１　几种模型的卷积神经网络对磁片检测精度

池化方法

分类精确度(％)

ＡｌｅｘＮｅｔＡｌｅｘＮｅｔ(最大池)

６８.ＲｅｓＮｅｔｓ(＋自适应加权池８６.４ＲｅｓＮｅｔｓＲｅｓＮｅｔｓ＋自适应加权池

＋平均池最大池)８８.９９１.７９５.６３

表２　不同参数设置的ＤＣＮＮ的分类精度

加权掩模Ｋ值(个)

ＡｌｅｘＮｅｔ加权池＋(％自适应)

ＲｅｓＮｅｔｓ加权池＋(％自适应)

１４８０.８２.９９２.９４.１１６９

８６.８９５.４２５８４.７８２.４６

９４.２９３.８６

于ＡｌｅｘＮｅｔ＋ＡＷＰꎬ由表可知随着掩模数量增加到９ꎬ(ＡＷＰꎬ例如精度通常会提高ꎬＫꎮ但是ꎬ将掩模数量设置得太大几种池化方法对旋转性能对学习掩码的数量不是很敏感＝２５)可能会影响其性能ꎻ对于ＲｅｓＮｅｔｓ、平移和缩放３种变换的鲁棒

ꎮ图３为＋—５６７—

高技术通讯　２０１９年６月第２９卷第６期性的实验结果ꎬ从图３可以得到结论ꎬ本文提出自适应加权池化模型的鲁棒性效果远好于单纯的最大池化和平均池化模型ꎮ

池化通道ꎮ

本文采用卷积神经网络对磁片表面缺陷进行检测分析ꎬ研究了经典的池化方法以及自适应加权池化模型ꎬ对比不同模型对特征提取的优化程度ꎮ实验表明ꎬ本文提出的自适应加权池化模型在检测准确率、鲁棒性等性能方面远优于经典池化模型ꎬ可以显著地提高分类效果ꎮ此外ꎬ这种模型也可以进一步应用于其他与卷积神经网络相关的深度学习算(ａ)旋转变换

(ｂ)平移变换

图３　３种不同类型变换对应不同池化模型的精度

(ｃ)缩放变换

４　结论

本文提出了一种称为自适应加权池的新方法ꎬ它指示ＤＣＮＮ对对象分类过程中ꎬ从输入图像的判别区域提取更有用的信息ꎬ增强图像的表示ꎮ并且可以在卷积神经网络的端到端训练过程中学习这些—５６８—

法ꎮ但是目前本文只是针对“凹坑”缺陷ꎬ由于还缺乏其他缺陷的数据集ꎬ笔者正在努力采集更多数据ꎬ下一步可以尝试增加缺陷种类ꎬ使此网络模型针对

不同类别的缺陷对象更加具有应用价值ꎮ

参考文献

[１]ＷｉｎｊｕｓｔｍｅｎｔＭꎬＢｕｓｈｒｏａＡＲꎬＨａｓｓａｎＭＡꎬｅｔａｌ.Ａｃｏｎｔｒａｓｔａｄ￣

ｂａｓｅｄｏｎｔｈｒｅｓｈｏｌｄｉｎｇｍｅｓｏｓｃｏｐｙ[Ｊ].ｍｅｔｈｏｄｆｏｒｓｕｒｆａｃｅｄｅｆｅｃｔＩｎｄｕｓｔｒｉａｌ

ｄｅｔｅｃｔｉｏｎ[２]ＩｎｆｏｒｍａｔｉｃｓＳａｙｅｄｅｎｔｒｏｐｙＭｆｉｌｔｅｒｉｎｇＳ.ꎬＲｏｂｕｓｔ２０１７ꎬ１１(３):ＩＥＥＥａｎｄｆａｂｒｉｃｍｉｎｉｍｕｍｄｅｆｅｃｔ６４２￣６４９

Ｔｒａｎｓａｃｔｉｏｎｓｏｎｅｒｒｏｒｄｅｔｅｃｔｉｏｎｔｈｒｅｓｈｏｉｄｉｎｇ[Ｃ].ａｌｇｏｒｉｔｈｍｕｓｉｎｇ

ＩＥＥＥ５９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＭｉｄｗｅｓｔＳｙｍｐｏｓｉｕｍｏｎＩｎ:

ａｎｄＳｙｓｔｅｍｓꎬＡｂｕＤｈａｂｉꎬＵｎｉｔｅｄＡｒａｂꎬ２０１７ꎬ１￣４

Ｃｉｒｃｕｉｔｓ[３]Ｙａｎｇｉｃ[４]ＮＤＴｔｉｌｅＣꎬＬｉｕＰꎬＹｉｎＧꎬｅｔａｌ.Ｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎｉｎｍａｇｎｅｔ￣

Ｌｅｅ＆ｉｍａｇｅｓＥＩｎｔｅｒｎａｔｉｏｎａｌｂａｓｅｄｏｎꎬｓｔａｔｉｏｎａｒｙ２０１６ꎬ８３:ｗａｖｅｌｅｔ７８￣８７ｔｒａｎｓｆｏｒｍ[Ｊ].ｈｙｐｅｒｓｐｅｃｔｒａｌＨꎬＫｗｏｎＨ.[５]ｏｎＧｒａｖｅｓＩｍａｇｅＰｒｏｃｅｓｓｉｎｇｉｍａｇｅＧｏｉｎｇꎬｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｊ].ｄｅｅｐｅｒｗｉｔｈｃｏｎｔｅｘｔｕａｌＣＮＮｆｏｒ

２０１７ꎬ２６(１０):４８４３￣４８５５

ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｗｉｔｈｄｅｅｐＡꎬｒｅｃｕｒｒｅｎｔＭｏｈａｍｅｄｎｅｕｒａｌＡＲꎬｎｅｔｗｏｒｋｓ[Ｃ].ＨｉｎｔｏｎＧ.ＳｐｅｅｃｈＩｎ:ＩＥＥＥｒｅｃｏｇｎｉｔｉｏｎ

ｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓꎬＳｐｅｅｃｈａｎｄＳｉｇｎａｌＩｎｔｅｒ￣[６]ＰｒｏｃｅｓｓｉｎｇꎬＶａｎｃｏｕｖｅｒꎬＣａｎａｄａꎬ２０１３ꎬ６６４６￣６６４９

ｆｒａｍｅＳａｉｔｏｈ[Ｃ].ｉｍａｇｅＴꎬＺｈｏｕｂａｓｅｄＺＨꎬＺｈａｏＧＹꎬｅｔａｌ.Ｃｏｎｃａｔｅｎａｔｅｄ

ｇｅｓꎬｎａꎬ２０１６.ＡｓｉａｎＩｎ:ＷｏｒｋｓｈｏｐＣＮＮ２７７￣２８９

ＣｏｎｆｅｒｅｎｃｅｏｎｏｎＭｕｌｔｉ￣ｖｉｅｗｆｏｒｖｉｓｕａｌＣｏｍｐｕｔｅｒＬｉｐ￣ｒｅａｄｉｎｇｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎＶｉｓｉｏｎꎬＴａｉｐｅｉꎬＣｈａｌｌｅｎ￣

Ｃｈｉ￣[７]ＨｅｉｎｇＲꎬＩＥＥＥｉｎｖａｒｉａｎｔＷｕＸꎬＴｒａｎｓａｃｔｉｏｎｓｆｅａｔｕｒｅｓＳｕｎＺＮꎬｏｎＰａｔｔｅｒｎｆｏｒｅｔｎｉｒ￣ｖｉｓａｌ.ＷａｓｓｅｒｓｔｅｉｎＡｎａｌｙｓｉｓｆａｃｅｃｎｎ:Ｌｅａｒｎ￣

＆ｒｅｃｏｇｎｉｔｉｏｎＭａｃｈｉｎｅＩｎｔｅｌｌｉ￣[Ｊ].[８]ｇｅｎｃｅＨｕａｎｇꎬ２０１９ꎬ４１(７):１７６１￣１７７３

ｃｈｉｃａｌｔｉｏｎａｌｄｅｅｐｒｅｐｒｅｓｅｎｔａｔｉｏｎｓＧＢꎬＬｅｅＨꎬＬｅａｒｎｅｄ￣Ｍｉｌｌｅｒｂｅｌｉｅｆｎｅｔｗｏｒｋｓ[ｆｏｒｆａｃｅＣ].ｖｅｒｉｆｉｃａｔｉｏｎＥ.ＬｅａｒｎｉｎｇＩｎ:Ｐｒｏｃｅｅｄｉｎｇｓｗｉｔｈｃｏｎｖｏｌｕ￣ｈｉｅｒａｒ￣

ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇ￣ｏｆｔｈｅ

姚明海等:基于优化卷积神经网络的表面缺陷检测

ｎｉｔｉｏｎꎬＰｒｏｖｉｄｅｎｃｅꎬＵＳＡꎬ２０１２.２５１８￣２５２５计算机学报ꎬ２０１７ꎬ４０(６):１２２９￣１２５１

ｔｉｏｎ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａ￣[１７]ＨｕＱＣꎬＷａｎｇＨＢꎬＬｉＴꎬｅｔａｌ.Ｄｅｅｐｃｎｎｓｗｉｔｈｓｐａｔｉａｌ￣

ｌｙｗｅｉｇｈｔｅｄｐｏｏｌｉｎｇｆｏｒｆｉｎｅ￣ｇｒａｉｎｅｄｃａｒｒｅｃｏｇｎｉｔｉｏｎ[Ｊ].２０１７ꎬ１８(１１):３１４７￣３１５６

ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍｓꎬｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２０１５ꎬ３７(９):１９０４￣１９１６

[９]周飞燕ꎬ金林鹏ꎬ董军.卷积神经网络研究综述[Ｊ].[１０]ＨｏｗａｒｄＡＧꎬＺｈｕＭꎬＣｈｅｎＢꎬｅｔａｌ.Ｍｏｂｉｌｅｎｅｔｓ:ｅｆｆｉ￣

ｃｉｅｎｔｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｍｏｂｉｌｅｖｉｓｉｏｎａｐｐｌｉ￣ｃａｔｉｏｎｓ[Ｊ].ａｒＸｉｖ:１７０４.０４８６１ꎬ２０１７

ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒｓ:ｃｒｏｓｓ￣ｃｏｎｖｏｌｕｔｉｏｎａｌ￣ｌａｙｅｒｐｏｏｌｉｎｇｆｏｒｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｃ].Ｉｎ:ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍ￣ＵＳＡꎬ２０１５.４７４９￣４７５７

[１１]ＬｉｕＬＱꎬＳｈｅｎＣＨꎬＨｅｎｇｅＡＶＤ.Ｔｈｅｔｒｅａｓｕｒｅｂｅｎｅａｔｈ

ｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ)ꎬＢｏｓｔｏｎꎬ[１２]ＳｚｅｇｅｄｙＣꎬＬｉｕＷꎬＳｅｒｍａｎｅｔＰꎬｅｔａｌ.Ｇｏｉｎｇｄｅｅｐｅｒｗｉｔｈ

２０１５.１￣９

ｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ)ꎬＢｏｓｔｏｎꎬＵＳＡꎬ[Ｊ].ａｒＸｉｖ:１６０５.０７７１６ꎬ２０１６

ｃｏｎｖｏｌｕｔｉｏｎｓ[Ｃ].Ｉｎ:ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉ￣

[１８]ＬｅｅＣＹꎬＧａｌｌａｇｈｅｒＰꎬＴｕＺＷ.Ｇｅｎｅｒａｌｉｚｉｎｇｐｏｏｌｉｎｇ

ＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉ￣ｇｅｎｃｅꎬ２０１８ꎬ４０(４):８６３￣８７５

ｆｕｎｃｔｉｏｎｓｉｎＣＮＮｓ:ｍｉｘｅｄꎬｇａｔｅｄꎬａｎｄｔｒｅｅ[Ｊ].ＩＥＥＥ

[１９]ＣｈａｎＴＨꎬＪｉａＫꎬＧａｏＳＨꎬｅｔａｌ.ＰＣＡＮｅｔ:ａｓｉｍｐｌｅ

ｄｅｅｐｌｅａｒｎｉｎｇｂａｓｅｌｉｎｅｆｏｒｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ?[Ｊ].５０１７￣５０３２

ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇꎬ２０１５ꎬ２４(１２):

[１３]ＷａｎｇＪＤꎬＺｈｅｎＷꎬＺｈａｎｇＴꎬｅｔａｌ.Ｄｅｅｐｌｙ￣ｆｕｓｅｄｎｅｔｓ[１４]ＧｉｕｓｔｉＡꎬＣｉｒｅｓａｎＤＣꎬＭａｓｃｉＪꎬｅｔａｌ.Ｆａｓｔｉｍａｇｅｓｃａｎ￣

ｎｉｎｇｗｉｔｈｄｅｅｐｍａｘ—ｐｏｏｌｉｎｇｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔ￣ｗｏｒｋｓ[Ｃ].Ｉｎ:ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ￣[１５]ＧｏｎｇＹＣꎬＷａｎｇＬＷꎬＧｕｏＲＱꎬｅｔａｌ.Ｍｕｌｔｉ￣ｓｃａｌｅｏｒ￣

４０３４￣４０３８

ｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇꎬＭｅｌｂｏｕｒｎｅꎬＡｕｓｔｒａｌｉａꎬ２０１３.

[２０]ＰｈａｎＨꎬＫｏｃｈＰꎬＨｅｒｔｅｌＬꎬｅｔａｌ.ＣＮＮ￣ＬＴＥ:ａｃｌａｓｓｏｆ

ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓꎬＳｐｅｅｃｈａｎｄＳｉｇｎａｌ[２１]ＫｒｉｚｈｅｖｓｋｙＡꎬＳｕｔｓｋｅｖｅｒＩꎬＨｉｎｔｏｎＧＥ.ＩｍａｇｅＮｅｔｃｌａｓｓｉ￣

Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕ￣Ｐｒｏｃｅｓｓｉｎｇ(ＩＣＡＳＳＰ)ꎬＮｅｗＯｒｌｅａｎｓꎬＵＳＡꎬ２０１７.

１￣Ｘｐｏｏｌｉｎｇｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｏｎｌａｂｅｌｔｒｅｅ

ｅｍｂｅｄｄｉｎｇｓｆｏｒａｕｄｉｏｓｃｅｎｅｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｃ].Ｉｎ:ＩＥＥＥ

ｆｉｃａｔｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ[Ｃ].Ｉｎ:ｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓꎬＬａｋｅＴａｈｏｅꎬＵＳＡꎬｌｅａｒｎｉｎｇｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ[Ｃ].Ｉｎ:ＩＥＥＥＣｏｎｆｅｒｅｎｃｅＵＳＡꎬ２０１６.７７０￣７７８

ｄｅｒｌｅｓｓｐｏｏｌｉｎｇｏｆｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌａｃｔｉｖａｔｉｏｎｆｅａｔｕｒｅｓｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎꎬＺｕｒｉｓｈꎬＳｗｉｔｚｅｒｌａｎｄꎬ２０１４.３９２￣４０７ｐｏｏｌｉｎｇｉｎｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｖｉｓｕａｌｒｅｃｏｇｎｉ￣

[Ｃ].Ｉｎ:Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１３ｔｈＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅ[２２]ＨｅＫＭꎬＺｈａｎｇＸＹꎬＲｅｎＳＱꎬｅｔａｌ.Ｄｅｅｐｒｅｓｉｄｕａｌ

２０１２.１０９７￣１１０５

[１６]ＨｅＫＭꎬＺｈａｎｇＸＹꎬＲｅｎＳＱꎬｅｔａｌ.ＳｐａｔｉａｌｐｙｒａｍｉｄｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎꎬＬａｓＶｅｇａｓꎬ

Ｓｕｒｆａｃｅｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎｂａｓｅｄｏｎｏｐｔｉｍｉｚｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ

(ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇꎬＺｈｅｊｉａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙꎬＨａｎｇｚｈｏｕ３１００２３)

ｓｉｏｎａｎｄｏｔｈｅｒｆｉｅｌｄｓｗｉｔｈｔｈｅａｄｖａｎｔａｇｅｓｏｆｓｍａｌｌｎｕｍｂｅｒｏｆｗｅｉｇｈｔｓａｎｄｆａｓｔｔｒａｉｎｉｎｇｓｐｅｅｄ.Ａｎａｄａｐｔｉｖｅｗｅｉｇｈｔｅｄｔｒａｃｔｉｏｎｏｆｓｕｂ￣ｓａｍｐｌｉｎｇｍｏｄｅｌｓｂｙｇｅｎｅｒａｔｉｎｇｍｅｒｇｅｃｈａｎｎｅｌｓａｎｄｃｏｌｌｅｃｔｉｎｇｆｅａｔｕｒｅｓｕｎｄｅｒｔｈｅｇｕｉｄａｎｃｅｏｆｌｅａｒｎｉｎｇｐｏｏｌｉｎｇａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｆｏｒｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ.Ｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｏｐｔｉｍｉｚｅｓｔｈｅｆｅａｔｕｒｅｅｘ￣ｍａｓｋｓꎬａｎｄｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｓｔｈｅｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙａｎｄｓｐｅｅｄｏｆｔｈｅｎｅｔｗｏｒｋ.Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｃａｒｒｉｅｄｏｕｔｏｎｔｈｅｆｅａｔｕｒｅｓｅｘｔｒａｃｔｉｏｎａｎｄｓｏｃａｎｅｆｆｅｃｔｉｖｅｌｙｄｅｔｅｃｔｔｈｅｄｅｆｅｃｔｓｏｆｓｕｒｆａｃｅｉｎｆａｓｔｅｒｃｏｎｖｅｒｇｅｎｃｅａｎｄｒｏｂｕｓｔｎｅｓｓｗｉｔｈｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｓ.ｓａｍｐｌｉｎｇ

Ｋｅｙｗｏｒｄｓ:ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ(ＣＮＮ)ꎬａｄａｐｔｉｖｅｗｅｉｇｈｔｅｄｐｏｏｌｉｎｇｍｏｄｅｌꎬｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎꎬｓｕｂ￣Ｔｈｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ(ＣＮＮ)ｈａｖｅｂｅｅｎｐｒｏｖｅｄｔｏｂｅｅｆｆｅｃｔｉｖｅｉｎｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎꎬｍａｃｈｉｎｅｖｉ￣

Ａｂｓｔｒａｃｔ

ＹａｏＭｉｎｇｈａｉꎬＹｕａｎＨｕｉ

ｔｈｅｓｕｒｆａｃｅｄｅｆｅｃｔｄｅｔｅｃｔｉｏｎｏｆｔｈｅｍａｇｎｅｔｉｃｄｉｓｋｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｐｏｏｌｉｎｇｍｏｄｅｌｃａｎｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ.Ａｌｓｏｔｈｅｐｏｏｌｉｎｇｍｏｄｅｌｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒｃａｎｂｅａｐｐｌｉｅｄｔｏｖａｒｉｏｕｓｄｅｅｐｎｅｕｒａｌ

—５６９—