(12)发明专利申请
(10)申请公布号 CN 111144384 A(43)申请公布日 2020.05.12
(21)申请号 202010047814.6(22)申请日 2020.01.16
(71)申请人 四川天翼网络服务有限公司
地址 610041 四川省成都市高新区九兴大
道10号三楼(72)发明人 司天强 杨垒 邓雄 苟林 (74)专利代理机构 成都金英专利代理事务所
(普通合伙) 51218
代理人 袁英(51)Int.Cl.
G06K 9/00(2006.01)G06F 16/2458(2019.01)G06F 16/28(2019.01)G06F 16/2455(2019.01)G06F 9/50(2006.01)
权利要求书2页 说明书4页 附图2页
(54)发明名称
基于视频结构化应用的警务数据处理系统(57)摘要
本发明提出基于视频结构化应用的警务数据处理系统，包括负载均衡设备、采集设备、实时流处理模块以及结构化存储模块，所述负载均衡设备向采集设备发送数据源产生的结构化或半结构化数据，采集设备根据不同端口识别不同厂家的结构化数据，将所述数据进行标准转化后发送至缓存，所述实时流处理模块从缓存中读取结构化数据，并执行数据统计、识别、报警以及存储业务，所述结构化存储模块连接实时流处理模块保存采集到的对非结构化数据进行的结构化描述数据以及由实时流处理所产生的业务数据；采用统一的存储方案降低数据存储成本，为最终用户提供丰富的数据应用；克服数据存在多份，需要多次检索的难题；可为警务、安防客户提供丰富的业务应用。
CN 111144384 ACN 111144384 A
权 利 要 求 书
1/2页
1.基于视频结构化应用的警务数据处理系统，其特征在于，包括负载均衡设备、采集设备、实时流处理模块以及结构化存储模块，所述负载均衡设备向采集设备发送数据源产生的结构化或半结构化数据，采集设备根据不同端口识别不同厂家的结构化数据，将所述数据进行标准转化后发送至缓存，所述实时流处理模块从缓存中读取结构化数据，并执行数据统计、识别、报警以及存储业务，所述结构化存储模块连接实时流处理模块保存采集到的对非结构化数据进行的结构化描述数据以及由实时流处理所产生的业务数据。
2.根据权利要求1所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述采集设备包括接入模块、数据通道以及协处理单元，所述数据通道将接入模块接入的不同的结构化数据传送到协处理单元，所述协处理单元对数据进行标准转化并转发至缓存。
3.根据权利要求1所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述系统还包括连接结构化存储模块的离线数据分析单元，所述离线数据分析单元用于对采集到的数据进行分析和处理。
4.根据权利要求1所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述结构化描述数据包括采集源信息、目标结构化特征数据、目标识别数据、目标报警数据、目标特征值数字矩阵数据以及目标档案数据。
5.根据权利要求1所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述系统还包括后台服务系统和客户端，所述后台服务系统连接实时流处理模块和结构化存储模块，并通过实时分析、报表、历史抓拍查询、布控任务管理、人证比对以及数据分析应用模块处理来自客户端的数据请求。
6.根据权利要求5所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述实时流处理模块采用分布式实时流处理框架，对每条从缓存中读取的数据进行处理和保存，并将业务处理产生的报警信息通过后台服务系统发送至客户端。
7.根据权利要求5所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述系统还包括实现图片、视频的非结构化存储的对象存储模块，所述对象存储模块连接实时流处理模块，并用于存储场景图、目标小图以及报警视频媒体数据，所述对象存储模块可对外提供标准网关接口，方便客户端对媒体数据的调阅。
8.根据权利要求1所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述实时流处理模块还连接有机器学习模型，并提供机器学习模型人脸特征训练所需的训练数据。
9.根据权利要求6或7所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述实时流处理模块包括解析单元、分发单元、统计模块和报警检测模块；
解析单元：将原始图像数据解析为场景图数据和目标值对象数据；分发单元：将解析后的场景图数据分发至对象存储模块并对目标值对象数据进行拆解，然后将拆解后的目标小图和目标结构化数据分别分发至对象存储模块和结构化存储模块；
统计模块：对缓存中含有目标值对象的数据进行实时业务统计；报警检测模块：根据统计模块统计结果，对目标值对象数据生成报警信息。10.根据权利要求1所述的基于视频结构化应用的警务数据处理系统，其特征在于，所述实时流处理包括消息解析、人脸提取、特征提取、特征比对以及报警信息产生；所述业务
2
CN 111144384 A
权 利 要 求 书
2/2页
数据包括原图、人脸信息和特征信息。
3
CN 111144384 A
说 明 书
基于视频结构化应用的警务数据处理系统
1/4页
技术领域
[0001]本发明涉及数据处理领域，尤其涉及基于视频结构化应用的警务数据处理系统。背景技术
[0002]现今视频结构化市场，都是以围绕算法来进行打造包装自家产品，算法厂家之间存在竞争关系，各视频采集设备通过不同的协议进行数据采集，由此产生的数据源数据不能进行统一分析处理，这给用户造成诸多不便，且数据分析处理往往需要多个厂家之间轮流调用，后台服务需要管理多家算法源，厂家之间无法通用识别结果，造成结果存在一定的偏差，现有视频结构化数据处理平台并不适用公安警务系统的结构化平台标准，且并不能满足对警务数据的非结构化处理需求，缺乏对多份设备采集数据特征处理，解决不了需要多次检索的难题。
发明内容
[0003]本发明的目的在于，针对上述问题，提出基于视频结构化应用的警务数据处理系统，从采、存、管、用四个角度对数据进行管理，在“采”的方面使用了高吞吐低延迟的软件结构，保证数据安全落地；在“存”方面，采用了云存储的思想，保证数据安全存储的同时，提高了数据存储的寿命；在“管”的方面通过将相同类别的不同数据源的非结构化处理，将人脸类数据进行二次特征处理，转换为统一的特征数据，克服了数据存在多份，需要多次检索的难题，在“用”的方面，通过使用大数据分析技术，可为安防客户提供丰富的业务应用。[0004]基于视频结构化应用的警务数据处理系统，包括负载均衡设备、采集设备、实时流处理模块以及结构化存储模块，所述负载均衡设备向采集设备发送数据源产生的结构化或半结构化数据，采集设备根据不同端口识别不同厂家的结构化数据，将所述数据进行标准转化后发送至缓存，所述实时流处理模块从缓存中读取结构化数据，并执行数据统计、识别、报警以及存储业务，所述结构化存储模块连接实时流处理模块保存采集到的对非结构化数据进行的结构化描述数据以及由实时流处理所产生的业务数据。[0005]进一步的，所述采集设备包括接入模块、数据通道以及协处理单元；所述数据通道将接入模块接入的不同的结构化数据传送到协处理单元，所述协处理单元对数据进行标准转化并转发至缓存。[0006]进一步的，所述系统还包括连接结构化存储模块的离线数据分析单元，所述离线数据分析单元用于对采集到的数据进行分析和处理。[0007]进一步的，所述结构化描述数据包括采集源信息、目标结构化特征数据、目标识别数据、目标报警数据、目标特征值数字矩阵数据以及目标档案数据。[0008]进一步的，所述系统还包括后台服务系统和客户端，所述后台服务系统连接实时流处理模块和结构化存储模块，并通过实时分析、报表、历史抓拍查询、布控任务管理、人证比对以及数据分析应用模块处理来自客户端的数据请求。[0009]进一步的，所述实时流处理模块采用分布式实时流处理框架，对每条从缓存中读
4
CN 111144384 A
说 明 书
2/4页
取的数据进行处理和保存，并将业务处理产生的报警信息通过后台服务系统发送至客户端。
[0010]进一步的，所述系统还包括实现图片、视频的非结构化存储的对象存储模块，所述对象存储模块连接实时流处理模块，并用于存储场景图、目标小图以及报警视频媒体数据，所述对象存储模块可对外提供标准网关接口，方便客户端对媒体数据的调阅。[0011]进一步的，所述实时流处理模块还连接有机器学习模型，并提供机器学习模型人脸特征训练所需的训练数据。[0012]进一步的，所述实时流处理模块包括解析单元、分发单元、统计模块和报警检测模块；
解析单元：将原始图像数据解析为场景图数据和目标值对象数据；分发单元：将解析后的场景图数据分发至对象存储模块并对目标值对象数据进行拆解，然后将拆解后的目标小图和目标结构化数据分别分发至对象存储模块和结构化存储模块；
统计模块：对缓存中含有目标值对象的数据进行实时业务统计；报警检测模块：根据统计模块统计结果，对目标值对象数据生成报警信息。[0013]进一步的，所述实时流处理包括消息解析、人脸提取、特征提取、特征比对以及报警信息产生；所述业务数据包括原图、人脸信息和特征信息。[0014]本发明的有益效果：使用大数据、云存储的架构，具有先天数据存储和处理优势，降低了平台级结构化采集终端数据采集的难度，可以高效的接入和处理各类结构化终端传感器，采用统一的存储方案降低数据存储成本，为最终用户提供丰富的数据应用；克服了数据存在多份，需要多次检索的难题；可为警务、安防客户提供丰富的业务应用。附图说明
[0015]图1是本发明系统结构图；
图2是本发明数据处理流程图；图3是本发明实时流处理流程图。
具体实施方式
[0016]为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，其数据源1、2、3仅用于对多数据来源进行表示和说明，本实施例中并不仅限于此3种数据来源，也不用做对本发明的进一步限制，本领域技术人员应该了解。[0017]如图1所示的基于视频结构化应用的警务数据处理系统，包括负载均衡设备、采集设备、实时流处理模块、结构化存储模块、机器学习模型和对象存储模块，所述负载均衡设备向采集设备发送数据源产生的结构化或半结构化数据，采集设备根据不同端口识别不同厂家的结构化数据，将所述数据进行标准转化后发送至缓存，所述实时流处理模块从缓存中读取结构化数据，并执行数据统计、识别、报警以及存储业务，所述结构化存储模块连接实时流处理模块保存采集到的对非结构化数据进行的结构化描述数据以及由实时流处理所产生的业务数据。
[0018]采集设备包括接入模块、数据通道以及协处理单元，所述接入模块可根据不同厂
5
CN 111144384 A
说 明 书
3/4页
家进行插件配置或开发，所述数据通道可分为内存型、文件型和消息队列型，对一般小批量应用可采用内存型，对于需要进行特殊转换的数据使用文件型，对于高并发的数据采用消息队列型处理，所述协处理单元用来将数据进行内部标准转换，形成统一的处理格式，作为数据流出方，可接入不同平台形成级联的数据传输；数据通道将接入模块接入的不同的结构化数据传送到协处理单元，所述协处理单元对数据进行标准转化并转发至缓存。[0019]结构化存储模块还连接有离线数据分析单元，所述离线数据分析单元用于对采集到的数据进行分析和处理；离线数据分析以Spark数据分析为主，将产生的数据进行处理，形成数据仓库、数据集市等，为人流、重点人、轨迹、报表等应用提供数据支撑，离线计算还定期和机器学习模型交互，为特征学习补盲。
[0020]所述机器学习模型与实时流处理模块连接，并提供机器学习模型人脸特征训练所需的训练数据；系统因此分为在线流计算和离线数据分析，根据视频结构化生成数据的特性，有着数据大、无限量等特点，使用在线流计算能很好的支撑这类数据的处理，并能为在线特征机器学习模型提供源源不断的学习数据。[0021]结构化描述数据包括采集源信息、目标结构化特征数据、目标识别数据、目标报警数据、目标特征值数字矩阵数据以及目标档案数据。[0022]系统还包括后台服务系统和客户端，所述后台服务系统连接实时流处理模块和结构化存储模块，并通过实时分析、报表、历史抓拍查询、布控任务管理、人证比对以及数据分析应用模块处理来自客户端的数据请求。
[0023]实时流处理模块采用分布式实时流处理框架，对每条从缓存中读取的数据进行处理和保存，并将业务处理产生的报警信息通过后台服务系统发送至客户端。[0024]所述对象存储模块连接实时流处理模块，并用于实现图片、视频的非结构化存储，所述非结构化存储包括场景图、目标小图以及报警视频媒体数据的存储，所述对象存储模块可对外提供标准网关接口，方便客户端对媒体数据的调阅。[0025]如图2所示的数据处理流程，由数据源产生半结构化和全结构化数据后，负载均衡设备向采集设备发送数据，负载均衡设备负责将数据转送到采集设备的某一采集端口，采集设备根据不同端口识别不同厂家的结构化数据，在进行标准转化处理后发送到消息队列Kafka缓存，该设计目的是削除数据传输时峰值压力，采集设备默认使用公安部1400视频结构化协议对数据进行采集处理。
[0026]实时流处理模块采用Hadoop yarn部署方式，从消息队列缓存中取出结构化数据，进行数据统计、识别、报警、存储业务。[0027]本系统提供两类数据存储方式，分别为对象存储和结构化数据存储；对象存储用来存储场景大图、目标小图、报警小视频等数据，有着调用方便、扩容灵活、安全等优点，突破了单机数据存储的容量的限制，保证了数据安全；结构化数据存储用来保存采集到的对非结构化数据进行的结构化描述数据，一般包括采集源信息、目标结构化特征数据（年龄、身高、穿着等）、目标识别数据（证件、车牌号等）、目标报警数据、目标特征值数字矩阵数据、目标档案数据等。
[0028]离线数据分析单元用来对采集到的数据进行分析处理，根据业务特点，可进行频次、同行、昼伏夜出、1:N检索、撞库比对等业务应用，在进行数据检索时可配置使用带有GPU的服务器资源加速数据比对检索。
6
CN 111144384 A[0029]
说 明 书
4/4页
后台服务系统采用微服务架构，分为实时分析、报表、历史抓拍查询、布控任务管
理、人证比对、数据分析等应用模块。
[0030]所述实时流处理模块包括解析单元、分发单元、统计模块和报警检测模块；
解析单元：接收缓存中数据队列的原始图像数据并解析为场景图数据和目标值对象数据；
分发单元：将解析后的场景图数据分发至对象存储模块并对目标值对象数据进行拆解，然后将拆解后的目标小图和目标结构化数据分别分发至对象存储模块和结构化存储模块；
统计模块：对缓存中含有目标值对象的数据进行实时业务统计；报警检测模块：根据统计模块统计结果，对目标值对象数据生成报警信息。[0031]如图3所示实时流处理包括消息解析、人脸提取、特征提取、特征比对以及报警信息产生；所述业务数据包括原图、人脸信息和特征信息。
[0032]以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。
7
CN 111144384 A
说 明 书 附 图
1/2页
图1
图2
8
CN 111144384 A
说 明 书 附 图
2/2页
图3
9
因篇幅问题不能全部显示，请点此查看更多更全内容