(12)发明专利申请
(10)申请公布号 CN 111079629 A(43)申请公布日 2020.04.28
(21)申请号 201911272505.2(22)申请日 2019.12.12
(71)申请人 哈尔滨市科佳通用机电股份有限公
司
地址 150060 黑龙江省哈尔滨市经开区哈
平路集中区潍坊路2号(72)发明人 于洋
(74)专利代理机构 哈尔滨市松花江专利商标事
务所 23109
代理人 张利明(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/62(2006.01)
权利要求书1页 说明书5页 附图4页
(54)发明名称
铁路货车心盘脱出故障图像识别方法(57)摘要
一种铁路货车心盘脱出故障图像识别方法，属于铁路货车安全技术领域。本发明针对现有铁路货车的心盘脱出故障以人工方式检测，检测结果的可靠性差的问题。包括建立图像训练样本库，在每个图像训练样本上标记多个故障单元框并记录故障标签；基于ResNet101的Faster RCNN模型进行训练，获得对应于方形心盘故障和圆形心盘故障的权重系数；将待识别图像入至所述Faster RCNN模型，基于所述权重系数对待识别图像进行处理，获得心盘脱出的故障预测框，再以限制故障预测框得分的方式去除误识别的故障预测框，将其余的故障预测框作为结果框，并进行相临近结果框的合并处理，获得心盘脱出的准确区域并确定故障标签。本发明用于心盘脱出故障识别。
CN 111079629 ACN 111079629 A
权 利 要 求 书
1/1页
1.一种铁路货车心盘脱出故障图像识别方法，其特征在于，包括以下步骤：步骤一：建立图像训练样本库，在每个图像训练样本上标记多个故障单元框并记录故障标签；所述故障标签包括方形心盘故障和圆形心盘故障；
步骤二：采用所述图像训练样本对基于ResNet101的Faster RCNN模型进行训练，获得对应于方形心盘故障和圆形心盘故障的权重系数；
步骤三：将采集的货车运行过程中的心盘区域图像进行预处理后，获得待识别图像；将待识别图像入至所述Faster RCNN模型，基于所述权重系数对待识别图像进行处理，获得心盘脱出的故障预测框，再以限制故障预测框得分的方式去除误识别的故障预测框，将其余的故障预测框作为结果框，并进行相临近结果框的合并处理，获得心盘脱出的准确区域并确定故障标签。
2.根据权利要求1所述的铁路货车心盘脱出故障图像识别方法，其特征在于，所述图像训练样本由采集的原始故障图像进行预处理后获得。3.根据权利要求2所述的铁路货车心盘脱出故障图像识别方法，其特征在于，所述预处理包括对原始故障图像进行扩增处理。
4.根据权利要求3所述的铁路货车心盘脱出故障图像识别方法，其特征在于，所述扩增包括对图像进行旋转、随机裁剪、水平翻转、竖直翻转、拉伸及缩放。
5.根据权利要求4所述的铁路货车心盘脱出故障图像识别方法，其特征在于，所述Faster RCNN模型包括特征提取层、建议区域层及分类与回归层。6.根据权利要求5所述的铁路货车心盘脱出故障图像识别方法，其特征在于，采用所述图像训练样本对基于ResNet101的Faster RCNN模型进行训练的过程包括：采用特征提取层提取图像训练样本的特征，获得样本特征图。7.根据权利要求6所述的铁路货车心盘脱出故障图像识别方法，其特征在于，采用所述建议区域层首先确定九种参考窗口，然后分别用所述九种参考窗口在样本特征图上左右上下移动，生成(H/16)×(W/16)×9个预标记框，其中H为样本特征图的高，W为样本特征图的宽，16为深度学习方法中的设定系数；
然后在预标记框中选出256个感兴趣标记框进行正样本和负样本的区分；相对于步骤一中标记的多个故障单元框，分别选择感兴趣标记框中与相应故障单元框重叠度最高的一个作为正样本，然后对于其它感兴趣标记框，再分别选择一个与相应故障单元框重叠度超过0.7的作为正样本；所述正样本数目不超过128个；
再随机选择感兴趣标记框中与相应故障单元框重叠度小于0.3的anchor作为负样本；使正样本与负样本的和为256。
8.根据权利要求7所述的铁路货车心盘脱出故障图像识别方法，其特征在于，再采用分类与回归层对所述正样本与负样本进行处理：计算所述正样本与负样本属于前景的概率，选择概率较大的前60％的样本框对应于步骤一中的故障标签进行分类，并进行位置回归；获得对应于方形心盘故障和圆形心盘故障的权重系数及位置参数。
9.根据权利要求8所述的铁路货车心盘脱出故障图像识别方法，其特征在于，对所述心盘区域图像进行预处理包括，对心盘区域图像进行裁剪和灰度拉伸。
2
CN 111079629 A
说 明 书
铁路货车心盘脱出故障图像识别方法
1/5页
技术领域
[0001]本发明涉及铁路货车心盘脱出故障图像识别方法，属于铁路货车安全技术领域。背景技术
[0002]铁路货车的心盘位于制动梁工位，在车辆传递横向力时，心盘会发生横向位移，使车辆的重心发生偏移，若重心偏移量过大，容易造成车辆脱轨和颠覆。[0003]目前对心盘脱出故障的检测以人工为主，由于人工作业容易出现故障漏检的情况，因而使检车作业质量和效率难以得到保证，增加了货车运行的安全隐患。[0004]因此，针对人工作业存在的不足，需要提供一种心盘脱出故障的自动检测方法，即用图像自动识别方式来替代纯人工检车方式，从而有效提高检测速度并获得可靠的准确率。
发明内容
[0005]针对现有铁路货车的心盘脱出故障以人工方式检测，检测结果的可靠性差的问题，提供一种铁路货车心盘脱出故障图像识别方法。
[0006]本发明的一种铁路货车心盘脱出故障图像识别方法，包括以下步骤：[0007]步骤一：建立图像训练样本库，在每个图像训练样本上标记多个故障单元框并记录故障标签；所述故障标签包括方形心盘故障和圆形心盘故障；[0008]步骤二：采用所述图像训练样本对基于ResNet101的Faster RCNN模型进行训练，获得对应于方形心盘故障和圆形心盘故障的权重系数；[0009]步骤三：将采集的货车运行过程中的心盘区域图像进行预处理后，获得待识别图像；将待识别图像入至所述Faster RCNN模型，基于所述权重系数对待识别图像进行处理，获得心盘脱出的故障预测框，再以限制故障预测框得分的方式去除误识别的故障预测框，将其余的故障预测框作为结果框，并进行相临近结果框的合并处理，获得心盘脱出的准确区域并确定故障标签。
[0010]根据本发明的铁路货车心盘脱出故障图像识别方法，所述图像训练样本由采集的原始故障图像进行预处理后获得。
[0011]根据本发明的铁路货车心盘脱出故障图像识别方法，所述预处理包括对原始故障图像进行扩增处理。
[0012]根据本发明的铁路货车心盘脱出故障图像识别方法，所述扩增包括对图像进行旋转、随机裁剪、水平翻转、竖直翻转、拉伸及缩放。
[0013]根据本发明的铁路货车心盘脱出故障图像识别方法，所述Faster RCNN模型包括特征提取层、建议区域层及分类与回归层。
[0014]根据本发明的铁路货车心盘脱出故障图像识别方法，采用所述图像训练样本对基于ResNet101的Faster RCNN模型进行训练的过程包括：[0015]采用特征提取层提取图像训练样本的特征，获得样本特征图。
3
CN 111079629 A[0016]
说 明 书
2/5页
根据本发明的铁路货车心盘脱出故障图像识别方法，采用所述建议区域层首先确
定九种参考窗口，然后分别用所述九种参考窗口在样本特征图上左右上下移动，生成(H/16)×(W/16)×9个预标记框，其中H为样本特征图的高，W为样本特征图的宽，16为深度学习方法中的设定系数；
[0017]然后在预标记框中选出256个感兴趣标记框进行正样本和负样本的区分；[0018]相对于步骤一中标记的多个故障单元框，分别选择感兴趣标记框中与相应故障单元框重叠度最高的一个作为正样本，然后对于其它感兴趣标记框，再分别选择一个与相应故障单元框重叠度超过0.7的作为正样本；所述正样本数目不超过128个；
[0019]再随机选择感兴趣标记框中与相应故障单元框重叠度小于0.3的anchor作为负样本；使正样本与负样本的和为256。
[0020]根据本发明的铁路货车心盘脱出故障图像识别方法，再采用分类与回归层对所述正样本与负样本进行处理：
[0021]计算所述正样本与负样本属于前景的概率，选择概率较大的前60％的样本框对应于步骤一中的故障标签进行分类，并进行位置回归；获得对应于方形心盘故障和圆形心盘故障的权重系数及位置参数。
[0022]根据本发明的铁路货车心盘脱出故障图像识别方法，对所述心盘区域图像进行预处理包括，对心盘区域图像进行裁剪和灰度拉伸。[0023]本发明的有益效果：本发明方法在卷积神经网络的基础上搭建深度学习模型，对图像中心盘脱出的故障进行自动检测，若发现有故障发生，则将报警信息上传至检车作业平台，供人工复核，保证铁路货运的安全运行。
[0024]本发明方法基于ResNet101结构设计Faster RCNN模型，ResNet101结构比ResNet50结构训练后的模型识别精度更高，能够适应不同种类心盘脱出的情况。因此，结合深度学习技术对心盘脱出故障进行自动识别，可显著提高检测结果的准确率。[0025]本发明以人工智能代替人工劳动，节省人力的同时，提高了检测结果的准确率和效率。
附图说明
[0026]图1是本发明所述铁路货车心盘脱出故障图像识别方法的流程图；[0027]图2是本发明中Faster RCNN模型的内部结构图；[0028]图3是图像训练样本图；
[0029]图4是ResNet101的分层数据图。
具体实施方式
[0030]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。[0031]需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
4
CN 111079629 A[0032]
说 明 书
3/5页
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0033]具体实施方式一、结合图1、图2和图3所示，本发明提供了一种铁路货车心盘脱出故障图像识别方法，包括以下步骤：[0034]步骤一：建立图像训练样本库，在每个图像训练样本上标记多个故障单元框并记录故障标签；所述故障标签包括方形心盘故障和圆形心盘故障；[0035]步骤二：采用所述图像训练样本对基于ResNet101的Faster RCNN模型进行训练，获得对应于方形心盘故障和圆形心盘故障的权重系数；[0036]步骤三：将采集的货车运行过程中的心盘区域图像进行预处理后，获得待识别图像；将待识别图像入至所述Faster RCNN模型，基于所述权重系数对待识别图像进行处理，获得心盘脱出的故障预测框，再以限制故障预测框得分的方式去除误识别的故障预测框，将其余的故障预测框作为结果框，并进行相临近结果框的合并处理，获得心盘脱出的准确区域并确定故障标签。[0037]本实施方式中，对心盘区域图像的采集方式包括使用线阵相机采集车辆心盘垂直于相机光轴方向上的投影信息，并输出高清图像。[0038]本实施方式以卷积神经网络为基础，搭建深度学习模型，可自动识别心盘脱出故障，既可提高识别准确率，又提高了识别稳定性。
[0039]本实施方式中的图像采集设备可在货车制动梁工位，收集并截取心盘脱出可能发生的区域。由于图像亮度及对比度等会随着采集设备的不同、车体新旧程度的不同、是否有油渍污染、是否有雨渍污染等因素的影响而不同，样本图像的不同也会直接影响模型识别结果。为保证样本数据集的完整性，要尽可能的收集各种情况下的图像。[0040]对图像训练样本用标记工具进行标记，标记过程中主要包括对心盘脱出的各种形态及其位置和种类进行标记，由于心盘脱出后，制动梁工位的其他部件会对其产生遮挡现象，所以对脱出后的心盘进行分块标记的操作，这样既能保证识别精度又能有效降低误报率。用标记工具对数据集进行标记后，建立VOC数据集，每幅图像对应一个xml文件，xml文件中包含故障标记的标签值和故障单元框的故障坐标位置信息。[0041]进一步，结合图3所示，所述图像训练样本由采集的原始故障图像进行预处理后获得。
[0042]再进一步，所述预处理包括对原始故障图像进行扩增处理。[0043]在原始故障图像收集过程中，不可能完全覆盖待识别故障的所有情况，为增强数据集的鲁棒性，要对样本数据进行扩增处理。[0044]作为示例，所述扩增包括对图像进行旋转、随机裁剪、水平翻转、竖直翻转、拉伸及缩放。
[0045]再进一步，所述Faster RCNN模型包括特征提取层、建议区域层及分类与回归层。[0046]深度学习模型中随着网络的加深，训练集准确率会出现下降的情况。针对这一问题引入深度残差网络(Resnet)，它允许网络尽可能的加深。为了解决“随着网络加深，准确率下降”的问题，Resnet提供了两种选择方式，identity mapping和residual mapping，如果网络已经达到最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络会一直处于最优状态，网络的性能也不会随着深度增加而降低了。
5
CN 111079629 A[0047]
说 明 书
4/5页
所述ResNet101由5部分组成，结合图2和图4所示，分别是conv1，conv2_x，conv3_
x，conv4_x，conv5_x。首先有个输入7×7×64的卷积，然后经过3+4+23+3＝33个building block，每个block为3层，所以有33×3＝99层，最后有个fc层(用于分类)，所以1+99+1＝101层(101层网络仅仅指卷积或者全连接层，而激活层或者Pooling层并没有计算在内)。将ResNet101应用在Faster RCNN模型上，能够取得较好的结果。[0048]再进一步，采用所述图像训练样本对基于ResNet101的Faster RCNN模型进行训练的过程包括：
[0049]采用特征提取层提取图像训练样本的特征，获得样本特征图。[0050]提取图像训练样本的特征采用提取器实现，所述提取器使用预训练好的模型，对图像特征进行提取。[0051]再进一步，采用所述建议区域层首先确定九种参考窗口，然后分别用所述九种参考窗口在样本特征图上左右上下移动，生成(H/16)×(W/16)×9个预标记框，其中H为样本特征图的高，W为样本特征图的宽，16为深度学习方法中的设定系数；
[0052]然后在预标记框中选出256个感兴趣标记框进行正样本和负样本的区分；[0053]相对于步骤一中标记的多个故障单元框，分别选择感兴趣标记框中与相应故障单元框重叠度最高的一个作为正样本，然后对于其它感兴趣标记框，再分别选择一个与相应故障单元框重叠度超过0.7的作为正样本；所述正样本数目不超过128个；
[0054]再随机选择感兴趣标记框中与相应故障单元框重叠度小于0.3的anchor作为负样本；使正样本与负样本的和为256。[0055]本实施方式中，利用提取的特征，经过RPN网络，找出一定数量的感兴趣区ROI(region of interests)。在RPN网络中应用了三种尺寸的anchor，3×3的组合后，共有9中anchor。然后用这9中anchor在特征图左右上下移动，每个特征图上的点都有9个anchor，最终生成了(H/16)×(W/16)×9个anchor。RPN在Extractor输出的feature maps的基础上，先增加了一个卷积，然后利用两个1×1的卷积进行二分类和位置回归。进行分类的卷积核通道数为9×2(9个anchor，每个anchor二分类，使用交叉熵损失函数)，进行回归的卷积核通道数为9×4(9个anchor，每个anchor有4个位置参数)。RPN是一个全卷积网络(fully convolutional network)，这样对输入图片的尺寸就没有要求了。接下来，RPN将在候选的anchor中选出256个anchor进行分类和位置回归。对于每一个ground truth bounding box(gt_bbox)输出：感兴趣物体的包围框(bounding box)，选择和它重叠度(IoU)最高的一个anchor作为正样本，对于剩下的anchor，从中选择和任意一个gt_bbox重叠度超过0.7的anchor，作为正样本，正样本的数目不超过128个。随机选择和gt_bbox重叠度小于0.3的anchor作为负样本，正负样本的总数为256。对于每个anchor，gt_bbox要么为1(前景)，要么为0(背景)，而gt_loc则是由4个位置参数组成，这样比直接用回归坐标更好。[0056]计算分类损失时使用交叉熵损失，而计算回归损失用的是Smooth_l1_loss。在计算回归损失的时候，只计算正样本(前景)的损失，不计算负样本(背景)的位置损失。[0057]再进一步，再采用分类与回归层对所述正样本与负样本进行处理：[0058]计算所述正样本与负样本属于前景的概率，选择概率较大的前60％的样本框对应于步骤一中的故障标签进行分类，并进行位置回归；获得对应于方形心盘故障和圆形心盘故障的权重系数及位置参数。
6
CN 111079629 A[0059]
说 明 书
5/5页
将ROI(正样本和负样本)和图像特征，输入到ROIHead，对这些ROI进行分类，判断
都属于什么类别，同时对这些ROI的位置进行微调。RPN在自身训练的同时，还会提供ROIs给ROIHead作为训练样本，生成过程如下：[0060]对于每张图片，利用它的feature map，计算(H/16)×(W/16)×9个anchor属于前景的概率，以及对应的位置参数。选取概率较大的前60％的anchor，利用回归的位置参数，修正这些anchor的位置，得到ROIs。利用非极大值(Non-maximum suppression,NMS)抑制，选出概率最大的2000个ROIs。RPN只是给出了2000个候选框，ROIHead在给出的2000个候选框之上继续进行分类和位置参数的回归。由于ROIs给出的2000个候选框，分别对应feature map不同大小的区域，首先用Proposal Target Creator挑选出128个sample_rois，然后利用ROIPooling将这些不同尺寸的区域全部pooling到同一个尺寸上。并将它reshape成一个一维向量，利用预训练权重初始化前两层全连接层，后接两个全连接层：FC21用来分类，预测ROIs属于哪个类别；FC84用来回归位置。[0061]再进一步，对所述心盘区域图像进行预处理包括，对心盘区域图像进行裁剪和灰度拉伸。
[0062]由于图像训练样本上故障单元框采用了分块标记的方法，所以对识别出的结果框进行邻近框合并操作，从而得到脱出心盘的准确位置，并将报警信息上传至检车平台。[0063]虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
7
CN 111079629 A
说 明 书 附 图
1/4页
图1
8
CN 111079629 A
说 明 书 附 图
2/4页
图2
9
CN 111079629 A
说 明 书 附 图
3/4页
图3
10
CN 111079629 A
说 明 书 附 图
4/4页
图4
11
因篇幅问题不能全部显示，请点此查看更多更全内容