0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代

脑极体 来源:脑极体 作者:脑极体 2021-06-21 22:14 次阅读

《华阳国志巴志》中曾记载:蜀国“山林泽鱼,苑囿瓜果,世代节熟,靡不有焉”,适宜的气候孕育了丰富的物产,滋养了擅长调制百味的巴蜀人民,也锻炼出了驾驭自然、明辨天时的能力。

诸葛亮“夜观天象,知天下大事”的本领,让人赞叹不已。而今天,四川正在用尖端的计算科学来把握风云变幻。

国内老牌数据库厂商虚谷伟业基于开源数据库openGauss,研发的商业发行版数据库——有蓉,就被应用于四川气象局,助力气象服务。两者结合,将会炮制出怎样的川味气象体验?又能为四川人民的生活带来怎样的新气象?

数据这份“食材”的时代挑战

一个好的气象系统能带来什么,答案可能是:为农林牧副渔等产业提供安全生产的有力支持,把恶劣天气和极端事件可能带来的负面影响降到最低;对气候和环境的监测与了解,也能为当地的可持续发展提供指导。

目前,已有多个省市将“完善气象基础设施”纳入地方“十四五”规划纲要,为防汛、防火提供气象技术服务,确保人民生命财产安全。

这样一盘利国利民的好菜,数据“食材”自然也要跟得上。而这,就给IT基础设施中的基础——数据库提出了诸多挑战。比如说:

气象数据的来源多维,既有模式数据,也有气象站、卫星、传感器获取的实况数据,传统数据库架构面临的挑战越来越大;

时空精度要求的提升,也对气象数据计算量级、存储容量、吞吐量等提出了新的需求;

气象涉及到公共服务的重要数据,因此数据安全,数据可控和数据主权是气象数据库的关键需求。

这一背景下,2019年7月,国家级气象大数据云平台“天擎”上线,就具备海量数据存储、全业务贯通、数据高效应用的能力,成为气象关键IT基础设施,支撑各类气象业务应用的云化,四川的气象数据也通过“天擎”省级数据库来承载。

“有蓉”调制出川味气象基建特别滋味

精准的气象服务,依赖于丰富庞杂的天气数据和实时高效的计算量级。天擎“云+端”的标准架构,原理是把所有数据集中在云端,也意味着全网任何一个业务操作,均需要云端数据库配合,这对云端的性能,数据吞吐能力和数据安全性提出了前所未有挑战。

因此,四川气象基于“天擎”得“云边+端”方案,赋予了“有蓉”数据库独特的味道。

首先,专门调制的“云边+端”方案,打造极致性能、业务吞吐与数据安全的业务架构铁三角。

一方面,端侧集中提供本地应用服务,边侧数据中心也能提供汇聚数据服务并按需与云上保持一致,解决了数据统一集中在云端而导致数据吞吐量过大的问题。

另一方面,边与端直面向区域用户提供服务,可以做到数据隔离,降低数据安全风险。这样服务下沉,分散到各点后,性能压力分散,减轻云上的业务性能压力。

此外,多项独家“配方”的应用,让“有蓉”可以更安心地应对气象大数据挑战。

作为“天擎”系统核心TP数据库的产品服务商,虚谷公司十分重视核心技术创新,虚谷数据库源代码自有率达到了99.5%。全套国产化软硬件,可以避免基础软件层面的不确定性,安心承载重要数据。

“有蓉”的出现,让云时代的气象数据和服务,被赋予更多新的风味与可能。

支撑数字山河,凭借先进的数据库产品构筑创新底座

更深一步,搞清楚“有蓉”背后的创新因果与逻辑,能帮助我们更清晰地理解,数字变局需要怎样的数据底座?具体表现为四个特征:

第一,边侧数据库的引入,为数据服务搭建了“高速通道”。

以“有蓉”数据库为例,数据可以被快速汇总,各种气象传感器的数据源以更短路径发送到端侧数据库中;数据快速存储,集中在云、边的访问量被分散在边侧,可以快速把数据入库;基于鲲鹏全栈的方案(鲲鹏服务器+openEuler操作系统+有蓉数据库〈openGauss〉)提供强大的数据处理服务,操作响应更快,综合提升气象数据的服务体验。

数据显示,依托鲲鹏计算平台的多核高性能,结合有蓉自身领先的高性能內核,可让数据汇聚速度提升约30%,从而保障前端业务的实时响应。

第二,“云边端”的高效协同,数据分级同步提升效率。

在数据同步上,一是按特征同步,时效数据会被实时同步到云端汇总;二是按需求同步,对数据进行分类,只同步云端需要数据,其余数据本地留存;三是跨区域同步,没有及时同步到云端的数据,可以跨区域点对点端侧同步。按照架构的特点,端侧数据库热数据提供本地实时气象服务,全省数据分析汇总和精确预报则在云端完成。

“云边端”协同分工,是四川气象迈向智慧化气象服务的关键。

第三,IT基础设施的稳定,决定了气象服务的业务连续性与可靠性。

气象服务之于国计民生的重要性,也对数据库的可靠性提出了挑战。为此,有蓉数据库基于鲲鹏多核高NUMA-Aware能力,加上数据库內核的无锁化设计等一系列技术,在气象数据高并发、高频数据写入和查询的同时,即使系统资源占用近80%,仍能稳定提供服务。

此外,有蓉数据库还具有金融级的、多地多中心的容灾能力,在部分数据节点宕机后,其他数据库节点迅速接管业务,保证业务连续性,降低数据丢失风险。

最后,则是降低整套系统的部署和运维成本。

气象业务每天会产生数GB甚至TB的时序数据,给运维带来很大的困难。为了让气象这一“大国重器”更具经济效益和社会价值,“有蓉”数据库高度支持HTAP混合负载能力,可以一份数据输出两种业务模型结果,减轻高吞吐压力的同时,极大的节省了业务改造和运维成本。

数据库是IT行业的重要基础软件,越是基础,要翻越技术大山就越难,对产业生态的要求也更高。虚谷伟业公司秉承着“虚怀若谷,有容乃大”的理念,不仅仅自研出了自主可控的虚谷数据库,也完美的吸纳高性能高安全的openGauss内核,研制出具有巨大优势的有蓉数据库,在国产数据库在市场上突破技术壁垒、走向应用,并担负国家公共基础服务走向数字化、智慧化,更好服务社会的重任。

随着一道道“中国味”的基础软件加入数据经济的盛宴,深入变革气象服务等基础民生领域,改变着每一个人息息相关的日常生活,才让数字山河间飘荡出科技的人间烟火味。

纵然无法像诸葛孔明一般神机妙算,亦能借助数据的力量,洞察气象万千、风云变幻。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    7835

    浏览量

    137508
  • 数据库
    +关注

    关注

    7

    文章

    3816

    浏览量

    64472
  • 鲲鹏
    +关注

    关注

    1

    文章

    130

    浏览量

    8967
收藏 人收藏

    评论

    相关推荐

    体验领礼啦!体验自建数据库迁移到阿里数据库RDS,领取桌面置物架!

    本方案介绍如何将自建数据库平滑迁移至数据库RDS,解决您随着业务增长可能会面临的数据库运维难题。通过使用RDS,您可以获得稳定、可靠和安全的企业级
    的头像 发表于 01-03 17:12 74次阅读
    体验领礼啦!体验自建<b class='flag-5'>数据库</b>迁移到阿里<b class='flag-5'>云</b><b class='flag-5'>数据库</b>RDS,领取桌面置物架!

    数据库数据恢复—Mysql数据库表记录丢失的数据恢复流程

    Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分
    的头像 发表于 12-16 11:05 172次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—Mysql<b class='flag-5'>数据库</b>表记录丢失的<b class='flag-5'>数据</b>恢复流程

    数据库主机哪个好一点?

    数据库主机哪个好一点?主机和数据库各有优势,选择哪个更好取决于具体需求。
    的头像 发表于 12-04 13:50 140次阅读

    奥飞数据拟1.3亿转让四川华拓70%股权

    华拓的任何股权,实现完全退出。这一举措对于奥飞数据而言,具有重要的战略意义。通过转让四川华拓的股权,奥飞数据将获得一笔可观的现金流,这笔资金将主要用于补充公司的流动资金以及支持数据中心
    的头像 发表于 12-04 11:14 447次阅读

    数据库服务器哪个便宜一些?

    服务器的价格区间相对更广泛,因为用户可以根据实际需求选择不同配置和性能的服务器。而数据库的价格则更多地依赖于数据库类型和规格。在相同配置
    的头像 发表于 11-12 10:55 203次阅读

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    一个运行在存储上的SQLServer数据库1000多个文件,大小几十TB。数据库每10生成一个NDF文件,每个NDF几百GB大小。数据库
    的头像 发表于 10-31 13:21 251次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    数据库可以租用吗?完整租用流程来了

    数据库是可以租用的,这是一种合法且便捷的数据存储和管理方式。数据库服务提供商提供的各种服
    的头像 发表于 10-28 09:54 179次阅读

    四川省领导莅临知声走访调研

    近日,2024年德阳季度重大项目拉练现场会成功举办。现场会期间,四川省副省长、德阳市委书记李文清,市委副书记、市长刘光强率各区县及有关部门领导莅临四川知声走访调研。
    的头像 发表于 10-15 09:13 643次阅读

    科技报到:大模型时代,向量数据库的野望

    科技报到:大模型时代,向量数据库的野望
    的头像 发表于 10-14 17:18 265次阅读

    四川知声与德阳产投数字签署合作协议

    近日,四川知声智能科技有限公司(以下简称“四川知声”)与德阳产投数字信息服务有限公司(以下简称“德阳产投数字”)签署合作协议,宣布正式入驻德阳
    的头像 发表于 09-30 10:56 528次阅读

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库
    的头像 发表于 09-20 11:46 365次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    一文详解企业上数据库是干嘛的

    业上数据库是企业将其数据库系统从传统的本地数据中心迁移到由第服务提供商管理的远程服务器上
    的头像 发表于 09-13 11:49 346次阅读

    软通动力数据库全栈服务,助力企业数据库体系全面升级

    。在企业节与"数博会"展区,软通动力受邀分享数据库专业服务全栈解决方案,并重点展示以全栈服务为核心的数智化能力。 软通动力高级数据库服务专家刘江在开放演讲中,分享了软通动力
    的头像 发表于 09-05 15:30 342次阅读
    软通动力<b class='flag-5'>数据库</b>全栈服务,<b class='flag-5'>助力</b>企业<b class='flag-5'>数据库</b>体系全面升级

    DTCC2024前瞻:数据库专家共话TeleDB发展蓝图

    数据库是IT基础设施领域重要的组成部分,紧跟数据库行业技术方向与创新趋势,强化核心技术的自研实力,助力企业释放
    的头像 发表于 08-19 14:53 375次阅读
    DTCC2024前瞻:<b class='flag-5'>天</b>翼<b class='flag-5'>云</b><b class='flag-5'>数据库</b>专家共话TeleDB发展蓝图

    四川弘和数智集团再次通过高新技术企业认定

    2023年12月,四川弘和数智集团荣获由四川省科学技术厅、四川省财政厅、国家税务总局四川省税务局联合颁发的《高新技术企业证书》。证书编号:GR202351005916。
    的头像 发表于 02-29 10:50 731次阅读
    <b class='flag-5'>四川</b>弘和数智集团再次通过高新技术企业认定