0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

交管大数据治理的挑战及应对方法 易华录构建交管数据治理体系

易华录 来源:易华录 作者:易华录 2022-05-26 17:53 次阅读

" 针对交管大数据建设,虽然有明确目标、公安部局平台架构指引、重点任务方向,但大数据、数据治理等技术、理论与交管实际业务结合,仍面临建什么、怎么建以及建后可用性等方面的问题。 在交通大数据治理、数据资源中心建设中,要依据公安大数据“四化”顶层设计思路,以“数据应接尽接、统一架构、共享互通、分层解耦、协同创新”的建设理念,自上而下总体设计、自下而上优化流程,推动交管大数据的深化建设、改造及应用。

概 述

十三五期间,交通管理科技水平稳步提升,已构建集成指挥、交通管理综合应用、交管大数据研判分析、互联网交通安全综合管理的四大核心平台,同时大数据、人工智能等技术与交通管理业务结合,在违法AI预审、车辆布控预警等场景已进行较深入应用。 2021~2023年交通管理三年科技规划中指出,交通管理改革和创新发展,需要充分发挥科技力量,加强交通管理精细化、智能化、专业化建设,不断推动共建共治共享交通安全治理新格局的形成,而新基建将加速交通管理的数字化进程。 交管科技创新中明确提出深化交管大数据分析研判,鼓励有条件的地方建设本地交通管理大数据资源池,包括可视化建模、模型创新、数据共享等目标任务。 针对交管大数据建设,虽然有明确目标、公安部局平台架构指引、重点任务方向,但大数据、数据治理等技术、理论与交管实际业务结合,仍面临建什么、怎么建以及建后可用性等方面的问题。

构建交管数据治理体系

数字化转型是个持续性过程,只有开头、没有终点,面向未来业务的不确定性,通过数字化手段及思维,敏捷响应并驱动业务升级改造。

在交通大数据治理、数据资源中心建设中,要依据公安大数据“四化”顶层设计思路,以“数据应接尽接、统一架构、共享互通、分层解耦、协同创新”的建设理念,自上而下总体设计、自下而上优化流程,推动交管大数据的深化建设、改造及应用。

609f5b38-dcd8-11ec-ba43-dac502259ad0.jpg

交管大数据架构应围绕交管科技规划的目标,依托技术侧分层解耦等通用规则,结合具体项目所在的外部系统、跨网传输、安全要求等情况来确定。同时,《部级公安交通管理大数据分析研判平台应用架构》可作为架构定义的有效参考基础,该规范中将架构分为支撑层、接口层、模型层、应用层。

支撑层用于建设数据底座以及通用引擎能力集。模型层基于数据治理后的标准数据创新业务模型,模型建设由项目的数据治理团队、业务科室警员依托可视化建模工具自行构建。接口层作为中枢系统依托微服务技术,将数据能力、通用引擎能力在安全可控情况下对外提供。应用层则面向业务科室警员通过系统应用、可视化大屏、BI等丰富形式提供数据应用、检索、挖掘分析能力。

围绕提升道路交通治理体系和治理能力现代化的总目标,个人理解侧重架构设计应遵循扩展性、规范性、安全性、分层解耦等原则。

以往,数据需求科室或下级支、大队获取六合一等数据,通常以线下提交申请书的方式开展,在申请书中描述所需的数据表、字段、用途场景等信息,审批通过后再以下发库的方式获取相应数据。数据需求方流程繁琐、效率低下,主管数据的科室也缺乏有力的监管手段。

依托接口层安全规范的数据共享交换能力,面向已汇聚的跨部门、跨系统、跨层级的数据资源,数据需求方可在线浏览数据目录,通过接口层工具提交数据需求申请,依托线上审批流程的方式获取数据,且申请记录及数据共享情况均可在后台留痕,极大提升了数据资源获取的效率。

60be5cae-dcd8-11ec-ba43-dac502259ad0.jpg

从主管单位的角度出发,对内,应制定数据质量、主数据管理等标准,规范数据平台的建设及内部数据治理的实施过程;对外,应制定输出数据元、数据字典等标准,规范治理过程及提供至外部系统建设单位及外部系统相关业务科室的输出过程。从数据源头开始,站在全局视角上制定标准架构及流程规范。

当前交通管理体系暂未形成统一的数据标准,未来在标准制定中,应调研本地交管核心信息化系统的建设情况、拉通各系统建设方私有的数据标准,特别是数据字典、数据元等,从治理后主要的业务场景出发,准确评估内部ETL、外部系统在未来改造过程中的工作难度。

建议按照交管六合一、公安行标、地方标准、国标、自定义优先顺序的原则,梳理制定数据标准。

610bab3a-dcd8-11ec-ba43-dac502259ad0.jpg

交管数据常见问题分为以下几种:

感知设备问题,例如GPS定位错误、时间同步等

数据格式错误,例如车辆所有人电话格式不符合要求、号牌长度及字符

数据重复问题

数据录入不完整等问题

主要原因有:接入数据的系统缺少必要的输入校验、人员操作规范性、设备时间同步,以及核心系统多年迭代修改,数据库设计不符合范式,治理人员较难掌握设计细节等方面问题。

治理团队应通过科室调研等方式,持续积累各科室核心业务,通过业务加深对底层数据结构的理解,但数据治理只能解决其中部分问题,例如格式、重复等。同时,更需要辅助大数据建设的主导单位来制定数据标准,配合完成数据标准体系的培训,提升整体数据治理意识,构建起数据问题闭环处理机制。

此外,应推动明确各类数据的唯一来源以及负责单位,在组织体系中主管领导支持下,由牵头部门从上至下推动整改,通过信息化系统改造、信息录入规范性等方式系统提升数据质量,并遵循数据标准规划建设新系统。

61274232-dcd8-11ec-ba43-dac502259ad0.jpg

当前虽然已建成了统一的公安交通管理大数据分析研判平台,但是因各地方数据资源差异、关注点不同以及需求差异性,往往存在水土不服、应用效果不理想的情况。但针对数据创新治理有更高要求的交警总队、支队会倾向于参考部级平台来建设本地化的大数据应用及系统。

构建弹性的、符合现状的、完善的数据治理组织体系,必定是一场持续性、进阶性的逐步完善过程。

我们通常将治理工作拆分为数据接入、数据标准化、数仓建设、数据模型集市、服务共享接口开发等环节,也包含横贯各项任务的数据运维、标准规范工作等工作任务。

围绕以上数据治理的工作任务,在实践操作中一般分为两种治理组织模式。

模式一:横向划分

按照任务类型,指派专人承担,同时基于具体的工作量,人员可兼任多项治理任务。例如A可同时承担数据接入及数据标准化工作。

由于各环节工作目标、范围清晰,对治理人员综合能力要求较低,此种方法适合批量的数据治理工作,环节内的工作效率优化。

模式二:纵向划分

以治理场景驱动,按照业务划分,治理人员承担该业务需求相关的数据接入、标准化、建模及接口研发工作。

此种方法,以建模、业务场景驱动,可以降低不同治理环节负责人之间的沟通成本。治理人员为最终成果的交付时间、数据准确性负责。

两种治理组织模式各有优劣,应按照治理人员能力水平(复合型、专业性)、治理阶段性工作节奏(快速实现场景或是稳步全面推进)来选择最优方案,但无论选择哪种,都需要有熟悉交管业务的数据治理架构师整体统筹工作,牵头数据标准规范工作,制定好工作分工及计划。

此外,数据运维是交管数据治理价值体现的基础保障性工作。但当前交管大数据处于起步发展阶段,数据运维还不够体系化,安排运维人员值守式人工巡检现象仍较为普遍,存在效率低、用例覆盖不全、依赖人员经验等问题。未来除了借助大数据平台能力(例如常规的系统运维平台、数据质量规则设置、异常预警等技术手段),面对持续增加的治理场景,还需要借助人工智能,基于海量历史数据,定义数据运维智能化模型,从而提升数据运维效率。

李君| 作者

614c4316-dcd8-11ec-ba43-dac502259ad0.png

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1789

    文章

    46576

    浏览量

    236899
  • 数字化
    +关注

    关注

    8

    文章

    8517

    浏览量

    61572
  • 大数据
    +关注

    关注

    64

    文章

    8851

    浏览量

    137182
  • 易华录
    +关注

    关注

    0

    文章

    175

    浏览量

    3382

原文标题:交管大数据治理的挑战及应对方法

文章出处:【微信号:ehualu300212,微信公众号:易华录】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    数据要素时代下构建高效数据治理能力的策略

    数据驱动的商业时代,高效的数据治理平台已成为企业成功的核心要素。尽管市场上已有众多成熟的数据治理产品,但许多客户仍反映未能充分实现
    的头像 发表于 11-01 11:19 200次阅读

    与连云港大数据产业发展有限公司达成战略合作

    7月,“畅游山海,乐享西游”2024第25届连云港之夏旅游节开幕,市长邢正军出席开幕式并致辞。现场开展了连云港市产业和投资环境推介活动,与连云港大数据产业发展有限公司达成战略合作
    的头像 发表于 07-09 16:15 669次阅读

    助力遂宁全面推进数据资产“入表+融资”模式

    6月14日,在遂宁市政务服务和数据局指导下,服务遂宁兴业数字产业集团有限公司(以下简称数产集团)圆满完成了数据
    的头像 发表于 06-16 17:09 1177次阅读

    率先完成江西省首例基于公共数据产品的数据资产入表

    近期,、抚州数据湖(江西数聚抚信息技术有限责任公司)联合江西省公共资源交易集团、抚州市数字经济投资集团有限公司、中国电信抚州分公司成
    的头像 发表于 05-24 09:41 486次阅读
    <b class='flag-5'>易</b><b class='flag-5'>华</b><b class='flag-5'>录</b>率先完成江西省首例基于公共<b class='flag-5'>数据</b>产品的<b class='flag-5'>数据</b>资产入表

    受邀参加锦州市首次数据资产化业务培训活动并授课

    3月21日,由锦州市工信局、锦州市国资委、锦州市大数据中心主办,锦州大数据集团承办,和大连数据
    的头像 发表于 03-27 09:25 538次阅读

    数据赋能:构建数据治理与AI的协同闭环

    在数字化浪潮中,数据已成为企业的新型燃料,而AI则是提炼这种燃料的精炼厂。数据治理与AI的协同作用,正在引领企业迈向更智能、更高效的未来。本文将展示企业如何通过将数据
    的头像 发表于 03-15 10:47 432次阅读

    大数据时代的关键:融合数据治理与AI为企业增值_光点科技

    数据驱动的今天,企业不能再将数据治理和人工智能(AI)视作孤立的实体。它们之间的协同作用已经成为推动企业增长的强大引擎。本文将探索数据治理
    的头像 发表于 03-14 11:20 292次阅读

    数据治理为什么要清洗数据

    在当今科技发展迅速的时代,数据已经成为企业和组织中不可或缺的重要资源。在数聚看来,随着数据量的不断增加和数据来源的多样性,数据的质量与一致性成为了一个巨大的
    的头像 发表于 01-23 08:55 657次阅读

    又双叒叕收到业主感谢信!

    近日,泰州数据湖接连收到泰州市公安局姜堰分局、泰州市交警支队姜堰大队、泰州市姜堰区交通运输局、泰州市姜堰区区域社会治理现代化综合指挥中
    的头像 发表于 12-23 17:25 566次阅读
    <b class='flag-5'>易</b><b class='flag-5'>华</b><b class='flag-5'>录</b>又双叒叕收到业主感谢信!

    校园大数据治理的难点是什么?#数据治理 #光点科技

    大数据
    光点科技
    发布于 :2023年12月18日 10:07:44

    校园大数据治理的意义是什么?#数据治理 #光点科技

    大数据
    光点科技
    发布于 :2023年12月15日 09:17:56

    校园大数据治理中存在哪些挑战?#数据治理 #光点科技

    大数据
    光点科技
    发布于 :2023年12月14日 09:18:07

    四维图新助力舟山交警荣获省级交管大数据建模竞赛双奖项

    近日,2023年浙江省公安交管大数据建模比武竞赛决赛圆满结束。由舟山市公安局交通警察支队牵头的"舟道先知-路网流量预测预警模型"及“基于时空相关性的路口诊断模型”受到好评,分别荣获三等奖及优秀奖。四维图新作为模型开发支持单位,为此次比赛提供技术支撑。
    的头像 发表于 12-07 18:15 363次阅读

    携“证-数据确权登记平台”亮相第二十五届高交会

    新产品新技术精品发布活动中,正式对外发布了 “证-数据确权登记平台” 。 数据银行事业部
    的头像 发表于 11-18 16:05 927次阅读

    湖南省邵阳市委常委、市人民政府副市长仇珂静一行莅临调研交流

    了邵阳数据要素化发展路径和智慧交通建设思路 。林拥军表示,基于“数字邵阳”整体规划,以数据治理
    的头像 发表于 11-07 18:10 2205次阅读
    湖南省邵阳市委常委、市人民政府副市长仇珂静一行莅临<b class='flag-5'>易</b><b class='flag-5'>华</b><b class='flag-5'>录</b>调研交流