海量数据,高效管控 | 睿帆科技助力北京地铁构建数据管理系统

一、项目背景

轨道交通的智慧化,是促进轨道交通与城市发展有机结合的有力抓手,对于实现城市的可持续发展具有非常重要的意义。作为首都轨道交通运营企业,北京地铁公司致力于打造面向乘客、面向服务的智慧地铁,推动北京轨道交通高质量发展。

为建设智慧地铁完成数字化转型与发展新零售业务,同时支撑国家重点研发计划“超大城市轨道交通系统高效运输与安全服务新型架构体系与集成示范项目”,北京地铁建立智慧地铁大数据平台,承担管理数据的资源中心、数据交换中心和数据分析中心三大职能。

其中,数据管理系统是大数据平台的支撑系统,定位为配合地铁公司数据资产监管系统开展数据治理各项工作的统一的存储、交换、整合、分析和应用平台,是大数据平台平稳运行的保障。近年来,北京地铁公司的数据复杂性、数据服务响应诉求和安全需求不断提升,对本次数据管理系统建设提出了更高的要求。


二、解决方案

针对北京地铁的主要需求,睿帆科技基于自主研发的Baymax大数据科学平台和数据资产管理平台两大PB级别核心产品,为北京地铁搭建数据管理系统。通过数据汇聚管理、流程管理、数据质量管理、数据数据展示、数据安全管理、数据服务管理六大模块,实现对北京地铁数据的全生命周期的统一管理,为北京地铁大数据平台及新零售分析应用提供有力的数据支撑。

1701138723115964.png

新零售数据汇聚管理解决北京地铁各类多源异构的、复杂的、大规模的数据融合问题,实现数据统一接入,统一汇聚。同时,通过在数据接入汇聚时对数据质量的探查、清洗、转换等,对数据进行规范化、实用化处理,解决数据质量低、数据格式不统一等问题。

新零售流程管理:以流程目录形式管理数据开发流程,提供离线计算Dataflow、实时计算Streamflow、工作流Workflow三种类型数据开发流程的配置和管理,并支持图形化工作流设计和开发。

新零售数据质量管理从准确性、完整性、一致性、有效性、唯一性、及时性6个维度建立全方位的质量管理的标准,摸清质量现状,并形成质量报告。针对质量报告制定详细解决办法,通过数据的流程的各个环节进行审核,进行问题的追责、督促相关责任人持续不断的关注和提升数据质量。

新零售数据展示:基于睿帆科技自主研发的数据资产管理平台实现新零售数据展示,包括数据总览与数据地图。数据地图以数据搜索为核心,通过可视化方式,综合反映有关数据来源、数量、分布、标准、流向、关联关系、数据质量,便于用户找到数据、读懂数据、消费数据。 

新零售数据安全管理:通过敏感数据发现、敏感数据脱敏、敏感数据加密及敏感数据分级保护,实现全局化数据管理和对各种类别敏感数据的精细化管理。

新零售数据服务管理:采用微服务架构,对数据提供快速的服务生成能力,实现服务共享、服务消费、服务对象、服务安全管理等功能。


三、睿帆科技方案优势

1.实现对海量多源异构数据的高效汇聚

睿帆科技的解决方案不仅能够支持北京地铁内部海量结构化、半结构化、非结构化数据的统一接入,统一汇聚,而且与传统的单机ETL/ELT工具最大的不同,基于Baymax搭建的数据管理平台采用分布式的方式多节点并行执行,可以充分发挥大数据基础组件的处理和计算能力,使数据加载和数据转换操作更加高效,保证了大数据量和高速数据流环境下的数据汇聚效率。

2. 拖拽式流程开发、可视化操作界面,大幅降低数据处理难度

数据管理系统支持拖拽式流程开发,不仅可以降低数据开发门槛,还能快速响应业务需求,迅速完成数据处理模型搭建。同时,质量管理系统提供数据质量定义的规则的可视化操作界面,有效降低操作难度,提高数据管控人员工作效率。

3. 提供完善的数据质量管控能力

对底层数据处理引擎深度检测,并对每步执行的结果数据进行监控,从而在数据生命周期的各个环节建立完善的数据质量稽核机制,确保数据的准确性。

4. 全面提升实时数据处理能力

实时获取数据和实时分析处理数据是本项目的关键能力。项目采用流式大数据处理技术,通过Kafka消息队列、Flink流式数据处理系统等实现实时数据接入、实时数据分析、实时监控,满足北京地铁的实时数据处理需求。


四、应用效果

通过构建数据管理系统,实现对业务数据的采集、处理、存储、应用和关键数据资产的多集群备份,睿帆科技助力北京地铁实现数据治理工作的集中管理推动数据管控工作线上化、自动化,提高数据管控人员工作效率和数据管控工作质量,为沉淀和深度挖掘地铁数据资产打下了坚实的技术基础。

本次数据管理系统项目是北京地铁继智能运维平台项目后,与睿帆科技的再度合作,充分体现了客户对睿帆科技大数据产品和服务能力的认可。未来,睿帆科技也将坚定推进自研产品迭代与进化,持续为轨交行业提供自主可控的数字化技术与服务,与行业用户共同探索数字创新之路。