车行云大数据解决方案

一.概述
 

车行云大数据应用系统是面向公安交管部门，基于通行过车信息、车驾管信息、违法事故信息等交通管理相关信息数据，集通行监控、缉查布控、实战分析等三大功能于一体的综合大数据分析应用系统。
 

平台以数据为驱动，以云计算、大数据等技术为支撑，通过对公安交管业务数据进行汇聚、清洗、关联、碰撞和挖掘，提高海量数据的核查比对、数据查询、分析性能和数据管理的应用水平，实现大范围、高密度、持续性、长时段路网通行车辆信息的汇聚、分析、存储和应用，提供贴合实战的业务应用、灵活性的技战法、智能化的分析研判、可视化的信息展示，开展全方位、深层次、多视角的交通管理信息的分析，智能发掘交通安全隐患、工作薄弱环节，为车辆缉查、案件侦破效能改进等需求提供数据支撑。
 

车行云大数据应用系统是公安以及交警日常任务中应用广泛的业务应用系统和数据分析系统。
 

二. 结构
 

车行云大数据应用系统逻辑框架如图二-1所示。在逻辑上划分为4个层次，分别为：数据接入层、平台支撑层、业务应用层及用户层。

                                                                  图 二-1 车行云大数据应用系统逻辑架构图
 

数据接入层：主要完成数据的汇聚接入，接入的数据主要包括公安六合一数据、卡点过车数据、电警设备数据、电子标识数据等。
 

平台支撑层：通过智慧交通数据平台进行数据的接入、处理、存储及数据建模分析，为上层业务应用层提供功能服务接口及数据服务接口，支撑上层业务应用系统。
 

业务应用层：采用模块化设计、注重展现与人机交互，提供车辆通行监控、缉查布控、实战分析等业务应用功能。
 

用户层：为交管、治安、刑侦、技侦等用户综合提供交通信息服务，完成日常业务工作。

三. 产品优势

（一）. 分布式消息队列系统
 

车行云接入数据包含结构化数据（如过车数据、违法证据数据、警情数据等类型）、非结构化数据（如视频、图像）等多种类型，后台功能模块交互性强，需要高效健壮的数据交换支撑。
 

车行云使用开源的分布式消息队列kafka，应对各种数据源接入与数据交换。kafka高吞吐有效的解决了大数据吞吐量，提高了数据对接的效率。

（二）. 混合存储架构
 

系统包含过车数据、公安六合一数据、社会资源相关数据等数据类型，如何合理的存储能解决现实中的问题，比如实时性问题、数据分析问题等。为此，系统采用混合架构进行数据存储以满足不同的应用。系统采用了分布式文件存储系统(HDFS)、图片存储(FASTDFS)、实时检索（elasticsearch）、结构化成果数据存储（oracle/mysql）等，满足离线分析、图片访问、实时查询、结果展示等业务灵活应用数据的需要。

（三）. 双重计算引擎
 

计算引擎可以分为离线与实时两种。系统采用离线引擎技术，应对线下数据清洗、预处理、特征值分析、建模、算法实现，并未为产品提供分析后的数据展示；针对具有动态、海量、高维、时效、连续、多源、无限等特性，数据流元组记录随时间变化的位置信息、车牌、卡口、速度等属性数据或视频、图像数据，系统采用实时计算引擎技术，接受实时交通数据流，基于研判模型，对进入指定时间窗口内符合条件的事件进行碰撞比对、分析预警等。
 

车行云采用开源的spark技术，它是基于内存的计算框架，在性能上很好的满足了在离线分析与实时计算场景下的业务。
 

（四）. 自动化监控
 

分布式存储、计算引擎等对机器的运维监控带来巨大的挑战。自动化监控包括两个部分：监控代理（agent）与监控服务器（server）。通过agent定时收集各个机器组件的运行状态，比如CPU的利用率，服务的运行，端口的连通，带宽流量占用等，server将agent收集到的信息进行存储，并通过图形展示的方式形象的描述机器的运行状态，为运维人员提供运维支撑。