0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从“存算一体”到“存算分离”:金融核心数据库改造的必经之路

科技云报到 来源:科技云报道 作者: 科技云报道 2023-07-08 11:39 次阅读

近年来,数据库国产化趋势愈发明显,上百家金融业试点单位在数据库国产化的进程中,进一步增强信心,向50%国产化率大步迈进。

但随着数据库国产化的深入,一些金融机构采用国产数据库+服务器本地盘的“存算一体”部署策略,逐渐在实践中暴露出短板,难以满足金融核心的场景需求。

金融机构想要高效安全地完成核心数据库国产化改造任务,到底该如何破局?

“存算一体”难以满足 金融核心系统改造

在金融行业,数据库使用涉及多种场景,如:核心交易、互金类APP、分析类应用、办公应用等。

尽管金融各类业务场的数据库系统都在逐步向国产数据库改造,但除了办公等非关键业务场景,核心业务场景改造仍进展缓慢。

究其原因,主要在于国产数据库尤其是国产分布式数据库,大多采用“存算一体”架构。

在金融核心业务场景中,对数据库的高并发、易扩展、数据的时延性、强一致性等方面都着严格要求,但“存算一体”架构却难以支撑,主要体现在以下几点:

●服务器可靠性不足

存算一体架构采用服务器本地盘部署方式,但服务器的可靠性有限,服务器故障会导致硬盘失效,副本冗余度降低,一旦出问题数据库就无法访问乃至丢失数据。同时,服务器故障修复起来也需要较长的时间,运维管理过于复杂。

●数据同步难做到强一致性

由于服务器本地盘的可靠性不足,存算一体架构下数据库往往通过一主多备的形式提升系统可用性。但在主库和备库间同步数据时,几乎无法同时满足金融核心对高性能和强一致性的要求。

●资源利用率不高,无法按需扩张

由于计算和存储强绑定,存算一体不可避免地存在CPU的争抢,有限的CPU在业务繁忙的情况下往往顾此失彼。

在扩容时,计算和存储资源扩容不可能一致的同比例被消耗,势必导致一边资源出现浪费,无法实现资源的按需扩张。

由于数据库弹性伸缩能力出现挑战,再依靠堆叠节点数量来提升性能和可靠性,企业成本势必也会持续增加。

●容灾不满足行业要求

在金融核心场景,容灾是必要的能力。对于五大行或头部股份制金融机构的核心系统而言,基本都要求达到RTO分钟级、RPO=0的最高水平。

而存算一体架构在主备库间复制产生的问题,在容灾场景下表现更为显著,因为链路拉远后故障场景更为复杂。

目前采用存算一体架构的数据库,几乎都采用单集群拉远+异步复制模式,核心业务下多集群数据库强一致性容灾的案例几乎没有,很难满足金融核心系统对于容灾的要求。

回顾存算一体架构为何会兴起,互联网企业在其中扮演了关键角色。

大约20年前,互联网时代兴起,数据井喷式增长,互联网电商对数据库提出了水平扩展、大集群规模、高并发等新诉求。

当时在国内市场形成垄断的“IOE”数据库系统,由于架构欠缺横向扩展能力,越来越难适应互联网业务激增的性能和灵活扩容诉求。

同时由于市场垄断,“IOE”系统的价格十分高昂,国外厂商对国内企业的诉求响应优先级也比较低,导致使用和维护“IOE”的成本逐年走高。

出于成本和反垄断的考虑,也恰好因为互联网业务对扩展性、吞吐量要求高,但对可靠性要求不高,以大型互联网厂商为代表的国内企业开始提出“去IOE”的想法,存算一体架构由此出现。

而大型互联网厂商在自身技术成熟后,有了更多将能力外溢和变现的商业动机;同时互联网本身具备极强的布道性,带动了国内许多数据库厂商选择“存算一体”路线进入这个风口,“存算一体”数据库也因此从互联网行业走进了更多行业。

但也应看到,在金融和其他行业中,“存算一体”数据库更多部署在其新兴互联网业务或非核心业务中。

毕竟对于这些行业而言,并没有互联网行业那么大的并发访问需求,也没有那么多的数据需要存储。

相反,业务连续性、可靠性是第一考虑因素。这也是为什么金融等行业的核心业务数据库改造总显得步履维艰的原因。

不过历史总在轮回,如同当年“IOE”架构让数据库从“存算一体”走向了“存算分离”,而国内的“去IOE架构”和上云浪潮又让数据库从“存算分离”走向了“存算一体”,如今在企业数字化转型不断深化的进程中,数据库再次走到了“存算分离”的技术拐点”。

“存算一体”转向“存算分离”成为大势所趋

从目前业界的技术发展趋势看,IT巨头们都不约而同采用了共享存储的方式,通过“存算分离”架构,去提升数据库的整体能力。不论是AWS Aurora,还是华为GaussDB、阿里PolarDB、腾讯TDSQL,都在向存算分离架构靠拢,这绝不是一种巧合。

FaceBook在提出“技术拐点论”时指出,当下之所以可以实现存算分离的技术原因,在于传输协议和带宽能力已不再是IO瓶颈,可以基于低延时、高带宽支持大量数据相互间同步。

当传输性能短板被填补以后,以及存储技术的提升,必然会迎来IT架构的变革。业界发现采用存算分离,可以基于架构变化带来事半功倍甚至从0到1的改变,从而让数据库替换的代价变小。

正因如此,新一代存算分离架构正成为全球数据库大势所趋,其优势非常明显:

●可靠性提升

在存算分离架构下,数据被存放在高可靠的专业存储中,即使服务器损坏,数据也不会丢失,换一台新的服务器仍然可以照常使用。

特别是高端存储从体系架构设计出发,提供了超高的故障容忍能力,提升了可靠性短板,减少因可靠性、运维能力不足造成的硬件冗余。

●主从强一致性

存算分离后,就无需多副本数据同步,性能问题可以很好的得到解决,存储资源的利用率也大大提升,从而为主从强一致打下了基础,进一步可以实现多主多写。

●资源按需分配,扩容灵活

存算分离架构下,存储不消耗计算节点的CPU资源,计算节点专职负责数据库的运算,而且存储性能的提升有利于充分发挥服务器CPU利用率。同时,计算和存储可以弹性扩展,按需分配,灵活迅速。

●专业级容灾

存算分离后,可以利用专业企业存储的容灾备份能力,如快照、复制等,满足金融核心业务的数据保护需求。

●能力复用

此外,使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力,还能快速提升数据库整体解决方案能力,节约开发成本。

事实上,新一代存算分离架构是业界基于当前改造的现状和本地盘部署的弊端不断探索出来的,更是互联网企业和数字化转型企业的共同选择。

只有将数据库升级为存算分离架构,把不可靠的计算设施和数据分离开,由更加可靠的专业存储来保存数据,才能从根本上解决存算一体数据库系统不可靠的问题。

唯有提升了可靠性,金融行业才敢于把关键业务交给新一代国产数据库,才有破局的可能性。

“存算分离+专业存储”是金融核心数据库的最优选择架构

如今随着政策形势和业务需求变化,国产数据库走向金融核心已是大势所趋。

在追赶业界领先者的道路上,国产数据库更应站在巨人的肩膀上,利用存算分离架构既有优势,打造场景普适性更强、更有竞争力的产品

近日,华为存储与南大通用共同发布的“金融核心级数据库高可用解决方案”,正是基于“存算分离+专业存储”的领先架构,率先为金融业提供了国产化的核心数据库改造落地方案。

wKgZomSoJV-AeFCUAASVFZIyw4c968.png

据悉,该联合方案在可靠性、性能与能效上均能满足金融核心业务需求:

高性能:实现一写多读,性能大幅提升

联合方案实现一份数据库副本一写多读能力,使能业务系统读写分离、负载均衡;数据并发处理性能大幅提升,实现业务交易平均响应时延缩短20%,批量处理时间较缩短38%,数据备份耗时缩短6倍。

●高可靠:异地双重容灾保障,RPO=0

联合方案采用双重容灾机制确保核心业务系统高可用。在应用层,实现基于逻辑复制的数据库容灾,备库可读;在存储层,确保数据高效、完整复制到容灾站点,且不影响工作站点性能,确保RPO=0,满足金融核心系统业务要求。

当前,该联合方案已在西南某城商行核心业务系统商用落地并稳定运行,成为我国金融业核心数据库改造的标杆案例。

从行业层面看,华为作为全球存储领导者,南大通用作为国产数据库“四小龙”之一,两者的强强联合为业界带来了切实可落地的国产化改造方案,使得金融、运营商等关基行业不再受制于存算一体数据库的短板,大胆将核心业务交给国产数据库,进一步加速我国关基行业核心数据库的国产化进程。

正如GBase南大通用 8s数据库总经理崔志伟所说,南大通用和华为均是我国扎根IT基础设施技术多年、达到业界领先水平的基础设施供应商,面临传统核心系统改造这一历史转折点,这既是挑战、也是机遇。

存储与数据库的持续合作创新,将进一步促进我国基础设施核心系统升级转型。

在技术层面,该联合方案所采用的“存算分离+专业存储”,不仅是金融核心数据库的最优选择架构,更代表着未来数据库的技术趋势,这使得中国数据库与国际领先数据库在性能与可靠性上的差距进一步缩小。

事实上,中国并不缺少优秀的数据库和存储厂商,从数据库产业链上下游来看,国产技术已全面成熟。

但是从全球数据库市场看,中国数据库厂商在占全球数据库厂商总量的32%;而在全球700亿美元的市场规模中,中国市场只有47亿美元,仅占5.2%。

根据DB-Engines Ranking 2023年数据显示,全球热度最高的数据库中,前100名中均无国产数据库。

随着国际局势持续紧张,一方面数据库国产化替代急需加速,另一方面国产数据库走向世界也是大势所趋。

国产数据库想要参与国际竞争,就必须面对Oracle、IBM、谷歌、AWS等国际数据库巨头的巨大竞争压力,而解决之道无外乎两点:

一是,正视与国外领先数据库的差距,并借鉴其成功经验。国产数据库需站在“存算分离”架构的技术优势上谋发展,通过追求技术领先来参与国际竞争。

二是,加强国产基础设施协同。国产数据库不能“同行内卷”、“全栈通吃”,而是要国产产业链间通力合作,共同加快国产数据库的发展,才能直面激烈的国际竞争。

如今,华为存储和南大通用的合作,正是国产基础设施合作、整合产业链优质技术的典范,这也将鼓励更多国产技术厂商从竞争走向合作,助力国产数据库加速发展。

结语

随着企业数字化转型的不断深入,“存算分离+专业存储”架构正在成为金融核心数据库共同的选择,也是最适合当前时代发展需求的一种架构。

在此基础上,相信国产数据库和存储厂商的紧密合作,也将走出中国数据库领先的未来。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能区块链等领域。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    216

    文章

    34327

    浏览量

    251215
  • 云计算
    +关注

    关注

    39

    文章

    7744

    浏览量

    137210
  • 存储
    +关注

    关注

    13

    文章

    4266

    浏览量

    85685
  • 数据库
    +关注

    关注

    7

    文章

    3767

    浏览量

    64279
  • 大数据
    +关注

    关注

    64

    文章

    8864

    浏览量

    137309
  • 存算一体
    +关注

    关注

    0

    文章

    100

    浏览量

    4288
  • 存算分离
    +关注

    关注

    0

    文章

    6

    浏览量

    58
收藏 人收藏

    评论

    相关推荐

    开源芯片系列讲座第24期:基于SRAM的高效计算架构

    种先进的计算架构技术,以克服传统冯诺依曼架构中计算单元与存储单元分离导致的“内存墙”问题。基于SRAM的一体技术在智能计算中具有高能效、高密度等优势,近年来在A
    的头像 发表于 11-27 01:05 67次阅读
    开源芯片系列讲座第24期:基于SRAM<b class='flag-5'>存</b><b class='flag-5'>算</b>的高效计算架构

    直播预约 |开源芯片系列讲座第24期:SRAM一体:赋能高能效RISC-V计算

    RISC-V计算报告简介一体种先进的计算架构技术,以克服传统冯诺依曼架构中计算单元与存储单元分离导致的“内存墙”问题。北京大学集成电
    的头像 发表于 11-16 01:10 109次阅读
    直播预约 |开源芯片系列讲座第24期:SRAM<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>:赋能高能效RISC-V计算

    一体化与边缘计算:重新定义智能计算的未来

    、人工智能(AI)等技术的发展,数据量的分布性、实时性需求增加,边缘计算也逐渐概念走向落地。本文将介绍一体化与边缘计算的
    的头像 发表于 11-12 01:05 152次阅读
    <b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>化与边缘计算:重新定义智能计算的未来

    一体架构创新助力国产大力AI芯片腾飞

    在湾芯展SEMiBAY2024《AI芯片与高性能计算(HPC)应用论坛》上,亿铸科技高级副总裁徐芳发表了题为《一体架构创新助力国产大力AI芯片腾飞》的演讲。
    的头像 发表于 10-23 14:48 238次阅读

    力与力并重:数据时代的双刃剑

    在2024年的今天,人工智能(AI)技术已经全面渗透至我们生活的方方面面,从医疗诊断智能交通,金融分析智能家居,AI正以前所未有的速度重塑我们的世界。这
    的头像 发表于 10-08 16:00 730次阅读

    科技新突破:首款支持多模态一体AI芯片成功问世

    一体介质,通过存储单元和计算单元的深度融合,采用22nm成熟工艺制程,有效把控制造成本。与传统架构下的AI芯片相比,该款芯片在力、能效比,功耗等方面都具有明显的优势。芯片采用AI
    发表于 09-26 13:51 357次阅读
    科技新突破:首款支持多模态<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>AI芯片成功问世

    后摩智能推出边端大模型AI芯片M30,展现出一体架构优势

    电子发烧友网报道(文/李弯弯)近日,后摩智能推出基于一体架构的边端大模型AI芯片——后摩漫界™️M30,最高力100TOPS,典型功耗12W。为了进
    的头像 发表于 07-03 00:58 4117次阅读

    内计算原理分类——数字内计算与模拟内计算

    数字内计算与模拟内计算各有优劣,都是一体发展进程中的重点发展路径,数字内计算由于其高速
    的头像 发表于 05-21 16:26 2248次阅读
    <b class='flag-5'>存</b>内计算原理分类——数字<b class='flag-5'>存</b>内计算与模拟<b class='flag-5'>存</b>内计算

    科技助力AI应用落地:WTMDK2101-ZT1评估板实地评测与性能揭秘

    中得到彰显。一体架构的突破传统冯·诺依曼架构的范式探索成为重要趋势。这种架构改变了分离
    发表于 05-16 16:38

    探索内计算—基于 SRAM 的内计算与基于 MRAM 的一体的探究

    技术,包括其工作原理、优势以及在军工和大数据存储领域的应用。最后,对比了SRAM的内计算和基于MRAM的一体技术的差异,包括工作原理、
    的头像 发表于 05-16 16:10 2604次阅读
    探索<b class='flag-5'>存</b>内计算—基于 SRAM 的<b class='flag-5'>存</b>内计算与基于 MRAM 的<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>的探究

    科技携手北大共建一体化技术实验室,推动AI创新

    揭牌仪式结束后,王绍迪在北大集成电路学院举办的“未名·芯”论坛上做了主题演讲,分享了他对于多模态大模型时代内计算发展的见解。他强调了一体在人工智能领域的重要性及其未来发展趋势。
    的头像 发表于 05-08 17:25 887次阅读

    北京大学-知科技一体联合实验室揭牌,开启知科技产学研融合战略新升级

    5月5日,“北京大学-知科技一体技术联合实验室”在北京大学微纳电子大厦正式揭牌,北京大学集成电路学院院长蔡茂、北京大学集成电路学院副
    的头像 发表于 05-07 19:31 1380次阅读
    北京大学-知<b class='flag-5'>存</b>科技<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>联合实验室揭牌,开启知<b class='flag-5'>存</b>科技产学研融合战略新升级

    一体芯片如何支持Transformer等不同模型?

    后摩智能致力于打造通用人工智能芯片,自主研发的一体芯片在支持各类模型方面表现突出,包括YOLO系列网络、BEV系列网络、点云系列网络等。
    的头像 发表于 01-05 14:14 1305次阅读

    SRAM一体芯片的研究现状和发展趋势

    人工智能时代对计算芯片的力和能效都提出了极高要求。一体芯片技术被认为是有望解决处理器芯片“存储墙”瓶颈,大幅提升人工智能力能效和
    的头像 发表于 01-02 11:02 2324次阅读
    SRAM<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一体</b>芯片的研究现状和发展趋势

    浅谈为AI大力而生的-芯片

    大模型爆火之后,一体获得了更多的关注与机会,其原因之是因为
    发表于 12-06 15:00 370次阅读
    浅谈为AI大<b class='flag-5'>算</b>力而生的<b class='flag-5'>存</b><b class='flag-5'>算</b>-<b class='flag-5'>体</b>芯片