0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于时空大数据分析、挖掘与可视化高性能计算解决方案

GPU视觉识别 来源: GPU视觉识别 作者: GPU视觉识别 2022-09-29 10:36 次阅读

poYBAGM1BJeAfFX8AAAcCLdNAvA868.png

高维数据 | 时空数据

地震预警 |地质勘探

遥感测绘|TransBigData

随着地质勘探、遥感测绘、地震预警、卫星遥感、疫情管控等的快速发展,自然资源领域的时空数据具有传统管理数据与大数据交织、内向型管理数据与外向型公共服务数据叠加、数据开放与数据安全责任兼重的特点,包含了海量的信息和丰富的应用场景。

国家领导人曾指出,要从推动数字经济发展、利用数据提升自然资源管理和国土空间治理水平两个角度出发全面规划和推进自然资源时空数据治理,充分发挥数据驱动力改造现有自然资源业务体系,推动自然资源数据成为重要生产要素。

国际时空数据治理发展形势

一、时空信息获取成为各种经济社会发展的助推力

在世界主要国家的政府治理体系中,围绕自然资源领域的时空信息获取已经成为非常重要的组成部分并在经济社会发展中发挥着越来越重要的基础支撑作用。特别是在疫情管控、改善政府数据治理和应对气候变化方面发挥了关键作用。时空信息用户尤其是政府和军事部门对准确、详细、全面的时空信息的需求越来越大。

据GW Consulting(地理信息世界咨询公司)估计,2021年全球地理信息市场价值已达3950亿美元,较2020年增长8.2%。预计2021-2025年,国际地理信息产业产值将以14.61%的年复合增长率增长,到2025年将达到6800亿美元。在战略性公共政策改革、行业加速战略以及数字孪生和元宇宙创新的驱动下,预计地理信息产业将在2025年后以更快的速度增长,到2030年达到1.44万亿美元。

地理信息技术对全球经济的影响目前估计在2.2万亿至5.4万亿美元之间,到2025年将扩大到5.4万亿至10.2万亿美元。随着传感器融合、元宇宙等新概念与时空信息的相互赋能,时空信息实际上已经成为整合分析各类数据的最佳载体和表达方式。

在政府和企业数字化转型的背景下,时空信息成为各国公认的重要数据资产,被广泛获取、挖掘和共享。世界主要国家纷纷启动空间数据基础设施建设。例如,美国时空信息生产和使用部门组成联邦地理数据委员会,以建立国家空间数据基础设施(NSDI),欧洲于2007年开始建立欧洲空间数据基础设施,以支持欧洲的环境政策。

Google、微软、苹果、Here等公司在自有生态下进行时空信息的获取,并以此作为公司掌握垄断资源分配、获取用户依赖的重要环节。OpenstreetMap等众包地理信息数据的数量和质量也在不断提升,部分地区的精度和数据鲜活度堪比官方权威数据。除了这些基本的时空信息获取系统之外,一些国家获取的时空信息也开始呈现出高精度、高投入、高回报的特点。

二、围绕时空信息获取的基础设施加快建设

随着时空信息作为国家重要战略资产的意识日益增强,围绕时空信息获取的天空地传感网以及数据中心和数据平台建设正在加速。在遥感卫星建设方面,目前世界主要国家都在继续部署高分辨率的光学和雷达卫星,各类卫星协同工作,使全天候成像的能力进一步增强,遥感影像的获取成本大大降低。

2020年,全球航天产业共研制发射了1277颗航天器,其中遥感卫星146颗,约占11.4%,其中分辨率优于1米的卫星超过50颗。目前,美国国家航空航天局、地质调查局和欧洲航空局通过陆地卫星体系和各类情报卫星系统收集了全球地表覆盖数据、数字高程模型和大量时间跨度超过30年的地理信息。

其中,美国地质调查局的陆地卫星项目和欧洲联盟的哥白尼项目提供了长长时序中高分辨率的图像,这些图像已用于各种灾害模型建立、海洋预测系统以及环境和气候监测。麦克萨、空客防务、Planet、L3哈里斯等公司提供分辨率高于1m的商业遥感影像、合成孔径雷达和微小卫星星座影像遥感影像长期占据全球影像市场主导地位。至于导航定位系统方面,GPS系统现代化进程加快,美国发布了《7号太空政策指令》,强调GPS及其增强系统更好地服务于美国国家和国土安全、民用、商业和科学目的。GLONASS全球补网推进,2025年将采用新一代卫星。欧洲Galileo也完成了全球系统建设,具备了全球服务的能力。印度、韩国、澳大利亚和新西兰近年来也建立了区域导航增强系统。

为构建时空基准和提供时空动态感知提供支持。导航地面增强系统方面,海克斯康、天宝、Geo++、SapCorda等传统强势企业凭借在芯片研发、基准站建设等领域的长期积累,在全球主要国家和地区建设了HxGN SmartNET、VRS NOW等导航定位基准站网。仅海克斯康和Geo++两家在全球建立了近8000个GNSS基准站网,并在精准农业、建筑施工、商业位置服务等应用领域实现了垄断。关于时空公共服务平台,美国、日本等主要国家都在其法律体系中明确了国家地理信息公共服务平台的法律地位,并在地理信息公共服务平台建设方面取得了良好的成绩。

三、时空信息获取及治理成为推动数字经济发展的重要力量

数字经济正在改写和重构世界经济版图,成为重组全球要素资源、重塑全球经济格局、改变全球竞争格局的关键力量。在此背景下,各国和各地区纷纷发布国家数字战略,以促进社会经济发展和政府治理。

在时空信息领域,政府部门获取和生成的时空信息的高效利用,空间数据基础设施的优化建设,政府和商业部门之间时空数据的流动和共享,成为政府数字治理体系建设中非常重要的环节。各国纷纷将地理信息作为重要的国家战略资产并把地理信息的流动、利用和安全监管作为非常重要的工作方向。近年来,美国、欧盟和日本发布了关于数据治理的法案和行动计划。

其中,美国将地理信息数据治理作为国家数据治理体系的重要一环写入《联邦数据战略》及其相关行动计划。《联邦数据战略》发布的2020年和2021年行动计划中对地理信息数据治理做出了详细、明确的部署,部署层级与人工智能在数据治理方面相同,可见美国政府对地理信息的高度重视。具体来说,2020年行动计划指出,负责地理信息数据协调的美国联邦地理数据委员会(FGDC)需要通过落实《地理信息数据法案(2018年)》增强部门和公众使用地理信息数据的价值和访问权限,并制定国家空间数据基础设施(NSDI)战略计划,确保联邦和各州地理信息数据能够轻松集成。

与此同时,2020年行动计划明确指出,白宫行政管理和预算办公室的高级地理信息官员(SAOGI)将帮助确保FGDC官员在相关数据监管机构任职,并促进地理信息数据向联邦部门的授权。同时,2020行动计划规定,国家地理信息平台(GeoPlatform)必须在确保国家利益和安全不受损害的前提下,提供国家地理信息资产数据和相关元数据,并将数据和相关接口连接到美国国家数据平台Data.gov。

2021年行动计划继承了2020年的思路,提出FGDC应确定与联邦政府首席数据官委员会(CDO Council)的联络员,以促进地理信息数据在全国的综合使用。与此同时,FGDC显然应当完成一份关于地理信息在国家空间基础设施中的高价值投资领域的分析报告。

国内开展时空数据治理的若干建议

一、用数赋智,提升“以数据为中心”的数据治理意识

机构改革以来,在自然资源领域开展了信息化建设工作的顶层设计,形成了相对稳定的技术体系和信息基础设施。但必须看到,自然资源时空数据不同主体、不同地域之间的数字鸿沟尚未得到有效弥合,数据资源规模巨大,但价值潜力尚未充分释放,整个系统对如何真正管理和利用数据还没有形成系统认知。

与此同时,数据安全也成为一个越来越值得关注的话题。目前自然资源有统一调查监测数据、规划权属数据、各类时空数据等蓝海资源。在信息化建设全面铺开、各项业务系统逐步落地的阶段,需要在国家自然资源领域形成数据治理意识,并据此规划数据治理的顶层设计非常有必要。

二、建立实体机构开展数据治理

数据不仅是一种狭义的治理对象,更是广义的治理手段和工具。进行全周期的数据管理和治理,其背后本质是协调和平衡数据挖掘和转化后形成的所有数据权力,并在此过程中维护所有数据权利,如财产权和人格权。

美国的实践表明,为了监督和保护数据权利,需要拥有一个集中而强有力的数据领导核心和一支具有数据素养、数据视野和大数据分析能力的数据团队,并赋予相应的行政职责和财政资金保障。首席数据官和数据治理委员会不仅承担着开展数据质量评估、数据分析、数据管理以及系统和数据安全和隐私保护等职能,也是未来根据党中央的要求开展数据安全监管的重要实体支撑机构。

三、开展具体工作进行时空数据治理

在顶层设计和实体机构的牵引下,美国各部门在自然资源的数据治理方面开展了多项具体工作,如建立数据治理委员会和空间数据协调委员会,根据《联邦数据战略成熟度评估指南》评估数据成熟度,梳理数据清单和优先级,以多种方式改善联邦—州、政府—商业数协同等。国内外领先企业在数据治理方面形成了一些先进的做法(如监管数据全过程、建设数据中心、建立企业级元数据管理机制等)。自然资源部应及时对这些具体工作进行技术跟踪和研判,在确保数据安全的前提下,选择符合自然资源领域数据特点的做法开展前期研究和试点,及时有效地管理自然资源数据。

蓝海大脑时空数据解决方案

观测卫星监测地球表面的变化,为土地利用规划、灾害支持、气候变化监测等方面的数据。深度学习用于检测图像中的对象,这是一项复杂的视觉任务。蓝海大脑面向时空领域大数据智能分析解决方案提供最新深度学习算法和方法所需的计算性能。

对于城市建筑、交通汽车、船泊港口、机场物流、森林植被、水体大坝等信息,使用地理空间对象检测。与决定图像主题的图像分类不同,物体检测不仅描述图片中的内容,还描述那些物体在哪里以及能看到多少。图像中的对象通常包含不同的边界,并且独立于图像的背景环境和景观对象。

poYBAGM1BJuADqiHAAZJEXnE3nM531.png

航空和卫星图像提供可以使用机器学习技术处理的数据,用于地理空间目标检测。这将数据转化为可以在广泛的现实应用程序中使用的洞察力,包括:

环境监测

地质灾害检测

土地利用规划和土地覆盖测绘

地理信息系统(GIS)更新

精准农业

城市规划

地理空间目标检测并不容易。这是一个复杂的问题,需要复杂的人工智能和机器学习方法。其复杂性的原因包括物体视觉外观的巨大变化、在弱光照下拍摄的航空图像的低分辨率以及树木或建筑物对物体的阻碍。即使如果一个物体没有被阻挡,可能会被图像视点、背景杂波、照明或阴影的变化所掩盖。所有这些因素使这个问题更加困难。

图像中物体的计算检测有三种方法:

模板匹配方法

基于知识的方法

基于对象的图像分析(OBIA)

这三种方法可以单独使用,也可以一起使用,构成了最常用的目标检测系统的基础。

pYYBAGM1BJuALhqyAAO7uc-eVcE485.png

一、行业所面临的挑战

模型通用性弱

遥感图像具有星多、地广、时相多等特点,解译模型的泛化能力和鲁棒性不足

AI人才不足

遥感解译应用场景日益丰富,AI人才相对缺乏。亟需针对业务人员的培训和与之配套的遥感解译训练平台作为支撑。

分析维度单一

纯粹依据遥感影像的分析,无法全面反映城市发展变化的全貌,尤其是背后的人口、产业、环境以及大众关注情感等时空变化信息。

二、功能要求

支持对时空环境数据的知识建模、知识抽取、知识融合、知识推理等功能,能够对知识进行三元组形式表示。

支持对时空环境数据的实体抽取、关系抽取、属性抽取等功能,实现单目标或多目标的知识关联,能够进行知识聚合和知识修正。

支持对时空环境数据知识的实体匹配、关系匹配、属性匹配等归一化、标准化功能。

支持基于时空环境数据知识的学习、实体推理、关系推理、模式归纳等分析挖掘隐含的知识功能。

poYBAGM1BJyAVoOFAAKyfOxI39U466.png

三、产品特点

时空数据柔性生产

基于深度学习的时空数据水冷工作站调度能力实现光学遥感、实景三维柔性数据,使得生产效率提升100%以上

高质量时空数据

全球影像100ms调用时延,保障影像访问极致体验;全球基准特征库,保障影像高质量

应用服务化加速

时空数据液冷服务器技术助力构建以SAAS和API为主的空间信息新产品、新服务,加速应用功能持续迭代增强

高可靠保障

专业的深度学习的时空数据库、中间件层、应用层多级高可靠设计,提供业务高可用保障

pYYBAGM1BJyAUg1yAAEMnohJQg0855.jpg

四、时空数据平台架构图

poYBAGM1BJ2AHhFsAAK5eocFacg990.png

五、客户收益

宏观与微观综合分析

遥感解译提供城市宏观布局分析,时空大数据分析提供区域微观人群、交通、产业等分析。

多模特征融合

遥感影像融合时空数据特征,提升模型精度和泛化能力。

自主可控

基于海光、龙芯、英伟达NVIDIA、英特尔IntelAMD高性能服务器和蓝海大脑深度学习框架构建,具有自主可控、安全可靠的优势。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据分析
    +关注

    关注

    1

    文章

    132

    浏览量

    16865
  • 深度学习
    +关注

    关注

    73

    文章

    5485

    浏览量

    120937
收藏 人收藏

    评论

    相关推荐

    raid 在大数据分析中的应用

    的具体应用: 一、提高性能 并行读写 :RAID技术通过并行读写多个磁盘,可以显著提高数据的读写速度。在大数据分析环境中,数据读写速度是影响分析
    的头像 发表于 11-12 09:44 102次阅读

    计算大数据分析中的应用

    计算大数据分析中的应用广泛且深入,它为用户提供了存储、计算分析和预测的强大能力。以下是对云计算
    的头像 发表于 10-24 09:18 273次阅读

    可视化数据大屏的制作流程

    制作可视化数据大屏是一项涵盖数据分析、设计和技术实现的复杂任务。从数据处理到展示呈现,每个步骤都至关重要。下面将详细介绍可视化
    的头像 发表于 07-24 13:57 251次阅读

    物联网时代,为什么需要可视化数据大屏

    在互联网和大数据时代,工业领域日益增长的数据量越来越离不开数据分析的支持,可视化数据大屏便是集中数据
    的头像 发表于 06-18 13:53 312次阅读
    物联网时代,为什么需要<b class='flag-5'>可视化</b><b class='flag-5'>数据</b>大屏

    态势数据可视化技术有哪些

    智慧华盛恒辉态势数据可视化技术是一种将数据以图形、图像、动画等视觉形式展现出来的技术,特别是在处理和分析态势数据时,该技术能够将复杂的
    的头像 发表于 06-11 15:47 348次阅读

    大屏数据可视化的作用和意义

    大屏数据可视化则是将这些数据以更加直观、易懂的方式展现出来,帮助用户快速做出决策、发现问题、分析趋势,具有重要的作用和意义。 大屏数据
    的头像 发表于 06-03 17:56 616次阅读

    众合科技时空大数据云中心智算项目正式启动

    近日,由甘肃省庆阳市人民政府指导、浙江众合科技股份有限公司主办、玄度时空云科技(深圳)股份有限公司协办的众合科技时空大数据云中心智算项目,在庆阳市举行开工仪式,正式启动该重要项目。
    的头像 发表于 05-16 11:05 537次阅读

    众合科技时空大数据云中心智算项目正式启动

    近日,在甘肃省庆阳市,由庆阳市人民政府指导、浙江众合科技股份有限公司主办、玄度时空云科技(深圳)股份有限公司协办的众合科技时空大数据云中心智算项目正式启动。
    的头像 发表于 05-16 10:56 318次阅读

    砂石骨料生产线智能工厂数字孪生可视化平台,推动行业数字转型

    砂石骨料智能工厂生产线数字孪生平台利用先进的数字技术和大数据分析,为砂石骨料生产线的智能、自动和高效提供了有力支持。通过可视化平台,用
    的头像 发表于 04-23 11:57 566次阅读
    砂石骨料生产线智能工厂数字孪生<b class='flag-5'>可视化</b>平台,推动行业数字<b class='flag-5'>化</b>转型

    态势数据可视化技术有哪些

    确,计算方法不实用,可视化效果不直观等技术问题,设计并实现了基于地理信息系统,网络拓扑图,攻击路径等的安全态势可视化分析系统方法, 通过可视化技术将安全态势
    的头像 发表于 04-22 15:17 372次阅读

    5G智慧地铁数字孪生可视化平台,推进铁路行业数字转型

    大数据技术和云计算平台,对采集到的数据进行清洗、整合和存储。数据分析层运用人工智能算法,对处理后的数据进行深度
    的头像 发表于 04-03 09:35 368次阅读

    智慧园区可视化解决方案主要功能

    展示,让园区管理更加智能、高效。 智慧园区可视化平台是以物联网、云计算大数据等技术为基础,通过集成各类设备和系统,实现园区内各种资源的
    的头像 发表于 01-30 16:34 358次阅读

    可视化全程追溯,可视化资产管理系统

    管理系统以智能技术为核心,融合了实时监控、数据分析可视化展示等功能,为企业提供了完整的资产管理解决方案。它能够有效地追踪和管理企业的固定资产、设备和库存物资,帮助企业实现资产的全生
    的头像 发表于 01-11 13:54 455次阅读
    <b class='flag-5'>可视化</b>全程追溯,<b class='flag-5'>可视化</b>资产管理系统

    数字时代:关于数据可视化的定义/优势及示例

    毫无意义和难以管理。这就是数据可视化发挥关键作用的地方。 数据可视化的定义 “数据可视化”的定义
    的头像 发表于 12-12 18:04 812次阅读
    数字时代:关于<b class='flag-5'>数据</b><b class='flag-5'>可视化</b>的定义/优势及示例

    Get职场新知识:做分析,用大数据分析工具

    综合分析。但现在有了大数据分析工具,一切问题都可迎刃而解。 大数据分析工具,顾名思义就是专门为分析海量数据而开发的一类工具。这类工具具有极强
    发表于 12-05 09:36