公安交通管理综合应用平台分布式改造技术和应用

公安交通管理综合应用平台分布式改造技术和应用

文图｜王东 朱峻涛 陈烨

全国公安交通管理综合应用平台自2011年起上线已有8年时间。随着综合应用平台功能日益丰富、数据量快速增长，基于Oracle的传统数据库框架已经难以满足系统建设发展的需要，陆续出现性能与容量瓶颈问题。综合平台的服务能力，成为了综合平台迫切需要面对的问题之一。二、平台改造方案随着互联网的快速发展，基于互联网基因的分布式存储、分布式计算和分布式服务架构的技术体系逐渐成熟，其形成的高性能、高可靠性、高可用和低成本可扩展的特性，给传统的应用系统提供了新的技术改革思路。基于当前流行的Hadoop分布式数据库，首先能跟原有的交通管理综合应用平台完全兼容，具备先进技术和较强的管理能力，能够高效快速地实现综合应用平台的分布式存储和计算，根据不同的数据内容和特点分门别类存储结构化数据和交通管理违法图片等非结构化数据、日志数据；全面整合各业务与管理数据；检索机动车、驾驶人、证据、业务日志等实时数据并进行统计分析，提高交通事故处理、交通证据处理的效率和精准性，优化道路交通管理水平；同时保证数据的安全性和系统的稳定性和高可用性。平台改造前的数据流整体框架图：一、平台现存问题信息化助力交通管理业务过程中积累了大量数据资源。从数据类型来看，大量的非结构化数据存储在数据库中，占据了存储容量的90%以上，数据写入过程严重影响到了数据读取占用的资源，特别是做数据统计分析的过程，引起服务器压力过大、程序响应慢，从而造成业务窗口压力过大。业务信息的快速增长为数据管理和服务带来巨大挑战。随着道路交通业务的不断深化，交通数据内容庞杂、存储分散、访问效率低下、结构不统一等问题限制了科技管理部门对交通管理数据的管理和维护，传统Oracle技术架构下的设备资源升级成本高、可扩展性差，造成海量数据的存储、备份、扩容瓶颈和日志信息不易于管理。交通管理业务发展对数据的科学利用提出更高要求。伴随城镇化的发展，交通管理基础设施（设备）大规模建设。同时，社会转型的压力迫使交通管理部门需要在交管工作机制、服务群众思路等方面进行创新和改革，除实现业务办理点等OLTP类应用外，实现大量数据统计分析等OLAP类的应用服务，通过对不同应用场景下的业务进行分割处理，提高42 | 道路交通管理 2019/09

改造后的数据流整体框架图： OLAP／OLTP分离，实现秒级统计查询。图片和日志数据大量的事务性处理（OLTP）跟业务数据的分析型事务（OLAP）的分开处理，解决以前Oracle数 据库查询统计报表慢，几分钟甚至几小时才能出统计报表、效率极低的问题。以前采用Oracle数据库，综合应用平台里的工作量统计往往需要1到2天才能出报表，现在最多1到2分钟就能给出统计报表，查询统计效率有了极大的提升。业务模式创新。一是云搜索。模糊查询，可以实三、改造实施成效释放存储，业务减压。采用分布式大数据库，把占90%的非结构化的图片数据和日志数据与业务数据分开存储，释放Oracle的存储压力，给业务系统减压。通过数据分布式改造，完成了包括违法图片和互联网图片数据进入了分布式HBase数据库，日志和业务数据进入了分布式HBase数据库、ES全文索引数据库和MPP大规模并行处理数据库。读写分离，高性能计算提升效率。图片数据文件和数量都大，需要占用系统大量的“写资源”；日志数据量大，需要频繁读写；业务数据是核心数据，量也大，经常要进行查询和统计操作。通过分布式计算技术，把三者分开存储，利用服务器集群克服Oracle数据库资源供应的不足，可整体提升系统效率。经过改造后的交通管理综合应用平台分布式数据管理平台每天处理新增的图片数据，通过RPC接口实时写入分布式HBase数据库，通过RPC接口每天新增的几百万条日志数据通过REST接口实时写入分布式HBase数据库和ES全文索引数据库，通过REST接口访问分布式数据库中的图片和日志数据。业务数据先保存到Oracle数据库中，通过定时任务程序通过REST接口，定点导入到HBase数据库和ES全文索引数据库中。经过数据分布式改造，各类数据处理的时候，根据业务场景的不同要求，通过不同的方式实现了读写分离，并且通过分布式计算，极大地提高了整体计算效率。现多字段检索，全文检索（原来Oracle再降低性能也达不到全文检索）。改造后的分布式平台，通过ES全文索引数据库，提供了姓名中文分词技术，可以通过查姓名、车牌号、手机号等模糊信息，平台从多张业务相关表中（如驾驶人信息表、车辆表、违法表等）抽取相关信息进行展现，实现秒级查询，速度极快。二是集中监控中心。统一的界面，可以方便监控服务器集群的性能，监控业务数据的处理情况，有告警机制。分布式平台系统的服务器多，采用的相关组件和技术也多，为方便技术工程师进行运维管理，分布式平台提供了友好的图形化界面展示，便于及时了解各个节点服务器的硬盘、CPU、内存、网络、各组件等运行情况，一目了然。线性存储容量扩展，性价比高，可扩展性更好。分布式存储通过利用相对于IBM小型机和EMC存储性能较低的经济型服务器集群技术来达到跟以往一样的业务要求，资金投入少，性价比非常高，而且可以通过简单增加服务器的方式进行存储容量扩充，可扩展性更好。技术先进，安全可靠。分布式结构组件众多，核心关键服务如MPP、ResourcManager、RPC引擎等都做了高可用处理。所有的图片、日志和业务数据保存在分布式大数据库HBase里，每份都有3个副本，日志和业务的搜索数据在ElasticSearch中同样有3个副本，保证数据的高可靠性。（作者单位：北京中软政通信息技术有限公司）2019/09 道路交通管理 | 43