0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

苏光牛:坚持产品能力的升级,做金融数字化的坚实数据底座

jf_81200783 来源:jf_81200783 作者:jf_81200783 2023-06-27 23:08 次阅读

6 月 7 日,华为全球智慧金融峰会 2023 在上海顺利举行,华为云数据库服务产品部总经理苏光牛带来了《华为云分布式数据库 GaussDB,做金融数字化的坚实数据底座》的主题分享,为大家介绍了华为云 GaussDB 的商业进展和技术创新能力。

以下是演讲实录:

尊敬的各位领导、各位来宾,大家下午好!非常感谢大家莅临本次峰会,今天,我主要给大家分享下 GaussDB 的商业进展以及产品能力升级方面的最新情况。

1、华为云 GaussDB 正在从金融覆盖到更多行业

从 2019 年开始,我们在华为内部通过持续的锤炼,推出了融合多项技术的自主创新的 GaussDB 数据库,而且陆续完成了华为公司内部核心系统的替代,这里面包括三个方面。

第一个是我们在终端云上实现了 6PB 数据的全面替代和上线,分布式节点有 6 千个节点的规模,资源利用率提升了 30%。

第二个是在 ERP 的替换中,我们替换了 600 多套的业务库,经历了十倍流量的突发流量考验,业务效率得到了 10 倍的提升,实现了零故障、零时延和零调账。这里简单给大家普及一下,华为公司的订单系统的特点,每到一个月的月末,每到一个季度的结束以及每年结束的时候,它的流量是平时流量 5-10 倍。所以华为公司在 ERP 上线的时候,我们是经历了 20 倍流量的测试和压测才能上线。

第三个就是我们的运营商设备,累计发货也有 30 多万套。

从我们的收入结构也可以发现,GaussDB 从最初的金融行业已经覆盖到更多的关基行业,非金融的占比提升了一倍,越来越多的客户选择 GaussDB 作为其数字化转型的伙伴。

2.在丰富的实践场景中打磨成熟

我们知道,数据库是一个全场景的软件,所以场景实际上是数据库的磨刀石。下面,我将进一步解读刚才讲的这几个业务和后面要讲的金融业务对数据库的磨炼是极其重要的。

华为的 MetaERP 系统,是一个典型的重度的使用传统商业数据库的场景,也是制造业里面非常典型的一个应用的代表,在华为公司,ERP 是我们的生产系统,它支撑了华为每年数千亿订单,170 多个国家的订单发货。从华为自身业务连续性的视角看,华为的 ERP 替换,相当于长征途中的强渡大渡河。作为全球数据库应用场景最复杂的 ERP 系统之一,华为的 MetaERP 面临几个挑战:第一个就是有近 7 亿行的 SQL 脚本需要改造;第二个我刚也提到了,业务高峰期业务流量可能达到 5-10 倍,在实际上线前,我们做了 20 倍流量的压测;第三个就是大表的改造,有最大 160 亿行大表,超过 100 亿行的表就有十几个,这些大表的迁移都非常具有挑战性。那如何解决呢?

第一个,对于 SQL 脚本的替换,我们的 UGO 工具实现了近 100%的自动化结构迁移。今天,我们去替换数据库,如果还投入几十个人去改造一个应用实现替换的话,是不可以维系的。第二个,就是数据迁移,我们是在 35 个小时内,实现了 3200 亿行数据的迁移。也就是说,今天大家已经不用担心数据迁移的一致性和完备性问题了。

另外,我们通过智能代价估计、高效索引并发控制等算法顺利地通过了业务历史最大峰值 20 倍流量的压测。

这里也给大家讲一个小故事,在 ERP 切换成功后,华为成都的一个操作人员,第一次运行资产核算任务,只用了 3 分钟。但是之前这个操作人员的历史经验都需要 2 个多小时。所以他认为这次可能是运行失败了,按照操作的规范立即预警。经过实际确认,结果是准确的,是一个“美丽的误会”。

而华为终端云服务,这个代表着新兴的一类生于云、长于云的云原生企业的典型应用,它的主要挑战是什么呢?首先是成本问题,如何提升资源利用率,特别是在海量的数据和分布式的情况下,大量的部署节点带来的成本问题以及传统的机房转换到云上的成本挑战;其次是海量业务带来的大量的分布式的诉求,需要有非常强的扩展性,和弹性伸缩能力;最后是数据多样化,因为其中既有关系型数据,也有非关系型数据。

GaussDB 原生的分布式架构,使负载更加均衡,已经上线的最大单集群节点数超过了 200 个,并且支持多种生态,实现了资源利用率和运营效率的大幅度提升。

还有就是对数据库要求最高的金融核心系统,几乎所有的金融 CIO 或 CTO 都知道迁移并不好做,金融行业大量的应用都重度依赖传统数据库的接口,存在大量的不确定性,客户都希望有一套可量化的、逐步推进执行的方案。

芯片、服务器、存储、网络到数据库、操作系统,GaussDB 是当前国内唯一能够做到软硬协同、全栈自主创新的国产品牌,高度兼容传统数据库的语法,有一站式的数据加应用平滑迁移方案,使得迁移变得更简单。同时基于多数派协议的原生分布式架构,更大幅提升了系统的可用性。

3.面向更深入、更广泛的场景,我们思考如何更好地满足客户诉求

随着 GaussDB 的成熟,未来 GaussDB 将向两个方向发展。第一是做深做透金融行业,一次性解决金融客户数字化转型和可持续发展的双重诉求;第二是从金融走向政务、能源、交通等更多关键信息基础设施行业,这也是我们一个新的使命。

在做深做透金融上,我们发现客户以前只关注接口的适配性,现在开始逐步重视替换后应用的可用性、稳定性。大家都知道,主机的可靠性大部分来自硬件,而没有了这种专用硬件的加持,如何通过软硬件协同保障大机整体可用性指标就非常重要了。金融核心业务不同于互联网追求性能峰值的极限,更需要的是一个确定的不抖动的性能,让每一笔交易的时延都可控。最后,在客户从几个应用替换到几百个应用替换的落地过程中,如何把迁移做成可量化的实施过程,是摆在每个金融 CIO 眼前最大的挑战。

近些年,关基行业的数据规模也越来越大,由于科技力量薄弱,技术人员投入相对较少,就需要数据库简单易用,最好能直接复用在金融行业已经实践成熟的技术来降低总体拥有成本,实现快速推进。

4.GaussDB 始终以安全可信、高质量为首要目标

为了满足更多场景的客户诉求,今天我们发布了新一代的分布式数据库 GaussDB,具备五高两易的全面能力。下来我就其中的一些关键的新能力跟大家做一下解读和分享。

在讲具体的产品能力升级变化之前,我想先给大家分享下 GaussDB 没变的东西,那就是我们对安全可信、高质量的追求。

从产品定义、代码实现、开源治理到运营运维等各个环节,GaussDB 基于华为软件工程全栈可信框架,实现了从结果可信到过程可信,做到了包括开发 GaussDB 软件的整个工具链在内的真正的自主创新。

同时,我们构建起了一个 9 层的测试防护网,通过全链路的深度交互测试平台减少低概率、复杂交互类的问题,当前已有 20 万测试用例消减了大部分基本问题,今年我们还会继续增加到 80 万,还构建了 10 多个金融客户场景化的防护网,消减了金融场景化的问题,实现真正的高质量。

5.聚焦客户业务痛点,GaussDB 产品关键能力全新升级

在产品能力升级上,我想大家最关心的还是可用性。我们的 GaussDB 新版本支持了 Paxos 一致性协议,更好地提升了 RTO,高负载业务下 DN 故障倒换可以稳定在 10 秒以内;去年我们跟工商银行联创推出了国内首个双集群强一致的方案,实现了集群级故障完全隔离 RPO=0,双 AZ 双活;今年我们又进一步支持了双集群的逻辑复制,以及全新的应用无损透明切换方案,做到应用大版本升级完全不停机,主备倒换应用微感知,真正实现大机业务 7*24 小时不间断。

在性能上,GaussDB 存储引擎可以实现业务长时间频繁更新下依然保持系统高性能,同时不抖动。这得益于 GaussDB 和招行的联创,我们重构了底层的整个存储引擎,采用的是原地更新的模式,它和常见的基于不断追加的这种引擎最大的区别是,传统的模式在底层垃圾的回收和内存做数据化的时候会有非常大的抖动。经过实测,我们在大压力的情况下,性能的抖动依然可以控制在 3%,同时存储空间的利用率提升了 17%。

在智能化上,对 DBA 来说,最头疼的就是在系统出现亚健康状态的时候,如何能够快速感知到问题,及时地进行识别和分析,方便进一步操作。作为国内首个 AI-Native 数据库,GaussDB 提供从应用开发到运维阶段全流程的数据库智能化体验,有全新的 SQL Audit 工具,在开发验证阶段就完成 SQL 自动审核,减少亚健康出现的情况,一旦出现亚健康状态,GaussDB 可以快速感知到问题,识别出实时慢 SQL,并进一步通过慢 SQL 的耗时点分析,自动诊断出是否处于被阻塞状态,以便运维人员进行判断查杀。在一些严重过载的情况下,我们还有过载熔断能力可以自动 kill 过载会话,避免因个别慢 SQL 拖住整个系统。还有 DBMind 的慢 SQL 根因分析、索引推荐、异常检测等多种运维功能也让 DBA 更加得心应手。

除了上面讲的这些硬核技术外,对于客户关注的性价比、平滑迁移,GaussDB 的新版本也做了大量的工作。首先是海量数据带来的存储资源压力。压缩是一个办法,但简单的高压缩比并不是我们追求的目标,我们更关注的是如何让业务尽量无感地使用压缩,并且性能不会有大幅降低,最好控制在 5%,甚至更低的性能影响,这才是真正有用的压缩。我们既能够降低资源的使用,对应用的侵入性更小。

其次,新版本还将支持内核多租户的能力,帮助用户可以快速在不同的租户资源上进行迁移,让应用使用更加灵活,资源利用率更高。

最后,GaussDB 有一站式的迁移解决方案,让原本不确定的迁移工作变成一个确定性的事情。第一个就是我们的 UGO,可以对现有系统的所有应用进行扫描和评估,告诉我们哪些能够兼容,哪些不能兼容,以及如何进行改造,现在我们已经做到 95%的自动化。第二个就是 DRS,可以实现在线零中断迁移,并且通过数据比对保证数据零丢失。第三个是流量回放,和 UGO 配合,可以真实地抓取源数据库上的流量,在新数据库上进行回放,避免大家现在普遍遇到的覆盖不全的问题。我认为,只有通过上述工程化可落地的方案,才能真正地实现国产数据库的规模替换。

数据库的发展,除了产品的创新,更离不开产学研用的通力合作。金融客户是数据库的重要出发点和落脚点,为 GaussDB 的发展起到了关键的作用。我们希望更多的金融客户能够开放自己更多的典型业务场景,基于分布式架构,来设计自己的多地多中心方案,形成最佳实践,加速推进行业数字化转型。我的分享就到这里,再次感谢在座的各位,谢谢大家!

审核编辑黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数字化
    +关注

    关注

    8

    文章

    8619

    浏览量

    61643
  • 华为云
    +关注

    关注

    3

    文章

    2432

    浏览量

    17314
收藏 人收藏

    评论

    相关推荐

    华为亮相自然资源数字化技术骨干培训班

    “自然资源数字化技术骨干培训班”在贵州省贵安云上屯正式开班,旨在落实数字中国、美丽中国建设要求,提升自然资源领域技术骨干数字化思维能力,推进新一代自主技术创新、基础设施适配和自然资源
    的头像 发表于 11-25 10:25 123次阅读

    高速数字化仪的技术原理和应用场景

    。FPGA可以实现高速的数字信号处理、存储和数据分析功能。同时,高速数字化仪还可以通过接口将数据传输到计算机或其他设备上进行进一步分析和处理。 二、应用场景 科研与工程测试:在物理大类
    发表于 10-21 14:34

    伏行业数字化转型的关键步骤有哪些?

    伏行业数字化转型是利用信息技术和数字化工具来提高伏领域的效率、可靠性和可持续性。以下是一些实现伏行业
    的头像 发表于 09-19 16:32 167次阅读
    <b class='flag-5'>光</b>伏行业<b class='flag-5'>数字化</b>转型的关键步骤有哪些?

    宜科EEDS Slim数字化扩展组件介绍

    伴随工业互联网理念及数字化能力建设需求的普及,企业生产力规划过程对于数字化能力的要求成为基础技术要求,对于设备制造商而言,选择直接开放设备数据
    的头像 发表于 07-18 16:16 356次阅读
    宜科EEDS Slim<b class='flag-5'>数字化</b>扩展组件介绍

    智慧园区管理平台,助力园区数字化升级

    智慧园区信息建设作为当今数字化时代的重要趋势,已经成为推动园区管理和运营效率提升的关键举措。在这个信息浪潮中,智慧园区通过整合现代技术和管理手段,在数字化、网络
    的头像 发表于 07-12 14:50 405次阅读

    移远通信赋能产业数字化转型

    移远通信,作为全球物联网解决方案的佼佼者,长期深耕无线连接与边缘计算领域。该公司凭借其卓越的技术底蕴与创新实力,研发出了一系列前沿产品与服务,为汽车、工业、农业、医疗及金融等核心产业的数字化、智能
    的头像 发表于 05-22 10:38 456次阅读

    IPv6--促进信息基础设施升级,构筑产业数字化发展坚实底座

    。加快IPv6下一代互联网产业升级和创新成果应用,能够加强面向产业数字化的网络基础设施建设,加速千行百业数字化转型,全面实现下一代互联网全球领先,助力数字经济高质量增
    的头像 发表于 04-03 13:19 400次阅读
    IPv6--促进信息基础设施<b class='flag-5'>升级</b>,构筑产业<b class='flag-5'>数字化</b>发展<b class='flag-5'>坚实底座</b>

    国芯科技金融终端安全芯片助力刷掌支付,便捷生活再升级

    数字化浪潮的推动下,支付方式的革新正以前所未有的速度改变着人们的生活。国芯科技以其领先的金融终端安全芯片技术,为刷掌支付这一新兴支付方式打造了坚实的安全底座,使得便捷与安全得以完美结
    的头像 发表于 03-12 09:32 632次阅读

    金融科技革命:数字化如何塑造未来经济

    当今世界,数字化不仅是一种趋势,更是深刻重塑经济和金融领域的关键力量。在这个过程中,金融科技(FinTech)崭露头角,成为革命性变化的代名词。以下是数字化技术在经济和
    的头像 发表于 01-12 14:27 289次阅读

    浪潮云海刘健:可演进的IT云敏捷支撑金融行业数字化转型

    引言:在市场竞争、客户期望、政策驱动、技术进步等多重因素驱动下,金融机构数字化转型势不可挡。由于金融业务模式的持续演进,IT基础底座经历了大型机、小型机、虚拟
    的头像 发表于 12-29 18:09 3631次阅读
    浪潮云海刘健:可演进的IT云敏捷支撑<b class='flag-5'>金融</b>行业<b class='flag-5'>数字化</b>转型

    夯实Net5.5G,构筑数字化发展网络新底座

    3D、XR游戏、超高清视频会议、AI大模型等新场景新应用不断涌现,适配不同场景,Net5.5G将通过泛在万兆联接、400GE融合承载、超融合数据中心网络、网络数字地图等新技术新能力,构筑数字化
    的头像 发表于 12-26 19:10 486次阅读
    夯实Net5.5G,构筑<b class='flag-5'>数字化</b>发展网络新<b class='flag-5'>底座</b>

    金融服务急需数据层改造

    金融服务越来越注重实时互动体验,重构关键业务流程,从数据层入手该怎么?文章速览:数字化转型正在颠覆银行与金融
    的头像 发表于 12-23 08:04 778次阅读
    <b class='flag-5'>金融</b>服务急需<b class='flag-5'>数据</b>层改造

    华秋荣获2023中国产业数字化百强榜企业

    的新产业新业态等等,将是数字化晋级发展的新方向。电子信息产业作为国家一大支柱产业,电子信息制造业数字化转型升级也推向进程。对比传统线下大批量电子产品生产制造,通过“线上下单+工业软件/
    发表于 12-04 10:01

    喜讯!华秋荣获2023中国产业数字化百强榜企业

    的新产业新业态等等,将是数字化晋级发展的新方向。电子信息产业作为国家一大支柱产业,电子信息制造业数字化转型升级也推向进程。对比传统线下大批量电子产品生产制造,通过“线上下单+工业软件/
    发表于 12-04 09:58

    数字化转型的核心是数据,还是应用?

    数字化转型是当今世界各行各业的热门话题。它不仅仅是将传统的业务流程、产品和服务数字化,更是一种全面的业务战略转变。在这个转变过程中,数据和应用都扮演着至关重要的角色。但究竟哪一个是
    的头像 发表于 11-29 10:59 588次阅读