0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ShardingSphere的框架及应用解决方案

牵手一起梦 来源:IT168网站 作者:李雪薇 2020-09-10 15:29 次阅读

一、NewSQL的概念

NewSQL的概念,最开始来源于国外的一份商业分析报告。它是各种新的可扩展/高性能数据库的简称,这类数据库不仅具有NoSQL海量数据的存储管理能力,还保持了传统数据库支持ACID和SQL等特性。

提及SQL,很多朋友最先想到的就是MySQL数据库和PostgreSQL数据库。对我们来说,它其实一个单点、很可靠,有ACID事务,也有查询语言的关系型数据库。其中,ACID事务和查询语言是我们最关心的两点。

伴随互联网的蓬勃发展,数据量的持续膨胀,NoSQL出现了。NoSQL泛指非关系型数据库,具备Scalability(扩展性)和Resilience(弹性)。扩展性是指可以无限的把一个单点变成一个集群,从而提升整个系统的可用性。弹性保证了在宕机集群崩溃后,数据的自动修复且上层业务无感知。

那么就有人提出来了,我能不能既可以拥有像SQL的关系模型,拥有它的ACID事务,同时还拥有像NoSQL的扩展性、弹性伸缩,以及高可用性。于是,NewSQL应运而生,它最开始的定义就叫做Scalability SQL。

在分布式的场景中,没有办法同时保证Consistency(一致性)和Availability(可用性),以及分区的容错性。CAP原则就是,你只能保证整个系统更关注于强一致性,或者高可用性。

ShardingSphere的框架及应用解决方案

综上所述,NewSQL是为了综合SQL和NoSQL的特性。它的存在并不是完全颠覆了CAP理论,而是需要基于这套理论,根据我们自身的实际情况,选择一个Consistency和Availability之间的平衡点。

对于用户来说,NewSQL其实就是A single logical DB,即单个逻辑数据库。从开发的角度,NewSQL具有New Architecture(新架构)、Transparent Sharding(透明化分片中间件)、Database as a Service(云数据库)三种形态。

二、Apache ShardingSphere的架构

Apache ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于Java同构、异构语言、云原生等各种多样化的应用场景。

Apache ShardingSphere定位为关系型数据库中间件,旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。Apache ShardingSphere目前已提供数十个SPI作为系统的扩展点,仍在不断增加中。

如上图所示,这是Apache ShardingSphere最新的部署框架。Apache ShardingSphere最开始定位于NewSQL的中间件,后面它的盘子越来越大,逐渐超越了中间件的范畴,但又未达到新架构的范畴,处在一个中间的状态。

首先,中间件的数据库集群,可能有自己的主库或者从库,包括同步、复制、备份等都是靠MySQL或者PG数据库来实现的。

其次,用户真正能够接触三个产品,第一个产品叫ShardingSphere-JDBC,它定位为轻量级Java框架,在Java的JDBC层提供的额外服务。它具备解析SQL、分片管理、分布式事务,脱敏等功能。

第二个产品叫ShardingSphere-Proxy,定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。适用于任何兼容MySQL/PostgreSQL协议的的客户端,可以管理数据库集群。

三、功能介绍

仔细观察ShardingSphere的框架,我们不难发现中间件左侧的Sharding-Scaling,它是一个提供给用户的通用的ShardingSphere数据接入迁移,及弹性伸缩的调度平台。

JDBC的核心功能就是Orchestration,即编排治理,配置集中化与动态化、数据治理。ShardingSphere提供了界面治理模块——Sharding-UI,可以快速维护Sharding-Proxy集群,方便用户一键式的操作。

如上图所示,从研发的角度来看Apache ShardingSphere的框架,最上面的接入端有JDBC和Proxy,中间层的核心功能是数据分片、分布式事务、数据库治理,最下层是数据库集群。

其实,Sharding是Apache ShardingSphere的立足之本。除了分库分表,它还还支持Encrypt(脱敏)和Shadow(影子库),所有压测的数据都会分配的影子库中。Sharding最核心的还是底层四个模块来做支撑。

我们必须要解析SQL,才能理解用户需要什么。Parser(解析器)已经重构过很多遍,为了实现自主可控,保证高效性和正确性。除此之外,Router代表着路由,Rewriter改写一些SQL,Executor做并行的控制,提高整体效率。

分布式事务主要有两个方面,ACID强一致性事务和BASE柔性事务。值得一提的是,ShardingSphere分为自研的分布式数据库(DTX)、对接其他公司的解决方案两部分。对于用户来说,他无需过多了解ShardingSphere,就可以拥有多种分布式事务的选型,这其实是一种非常有意思的方式。

ShardingSphere不只是一个分布式数据库的原因在于,它的Orchestration模块提供了很多功能,比如在线变更、分片规则的在线推送,以及限流和熔断等。用户在了解分片的基础上,可以慢慢去探索这个开放生态,找到自己想要的功能。

潘娟强调道,分库分表、强一致事务、柔性事务、分布式治理、可视化链路追踪、读写分离等所有的功能都是可以组合在一起的。完全的自由组合,从而形成一个只满足公司所需要的产品。

当存储系统或者性能不够的时候,数据库就要通过Scaling(迁移平台)进行Scale out(扩展)。目标不是放在提高单机性能上,而是要做成分布式,多个机器来解决。

四、社区

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 互联网
    +关注

    关注

    54

    文章

    11116

    浏览量

    103050
  • 数据库
    +关注

    关注

    7

    文章

    3769

    浏览量

    64292
收藏 人收藏

    评论

    相关推荐

    晶科储能与嘉实多签署战略合作框架协议

    全球领先的储能解决方案供应商晶科储能与嘉实多今日宣布,双方已签署战略合作框架协议,旨在通过资源共享和技术创新,共同推进储能领域的研发与应用。
    的头像 发表于 11-21 11:15 214次阅读

    解决方案】港口船舶岸电综合能效解决方案

    解决方案】港口船舶岸电综合能效解决方案
    的头像 发表于 11-14 01:02 111次阅读
    【<b class='flag-5'>解决方案</b>】港口船舶岸电综合能效<b class='flag-5'>解决方案</b>

    智慧灯杆解决方案

    智慧灯杆解决方案
    的头像 发表于 11-11 08:34 129次阅读
    智慧灯杆<b class='flag-5'>解决方案</b>

    解决方案】智慧用电解决方案

    解决方案】智慧用电解决方案
    的头像 发表于 11-11 01:00 91次阅读
    【<b class='flag-5'>解决方案</b>】智慧用电<b class='flag-5'>解决方案</b>

    解决方案 | 基于TSMaster的平板电脑解决方案

    Tosun基于TSMaster的平板电脑解决方案基于TSMaster的平板电脑是一款集成了TSMaster软件平台和多种总线分析硬件工具的综合产品,旨在充分发挥同星自主研发的技术优势,解决实车路试
    的头像 发表于 11-10 01:02 568次阅读
    <b class='flag-5'>解决方案</b> | 基于TSMaster的平板电脑<b class='flag-5'>解决方案</b>

    智慧路灯照明管理系统解决方案 盾华智能路灯灯杆屏解决方案

    智慧路灯照明管理系统解决方案
    的头像 发表于 11-01 10:33 174次阅读
    智慧路灯照明管理系统<b class='flag-5'>解决方案</b> 盾华智能路灯灯杆屏<b class='flag-5'>解决方案</b>

    智慧路灯杆总体解决方案 智能智慧路灯屏灯杆屏解决方案

    智慧路灯杆总体解决方案 智能智慧路灯屏灯杆屏解决方案
    的头像 发表于 10-11 09:30 333次阅读
    智慧路灯杆总体<b class='flag-5'>解决方案</b> 智能智慧路灯屏灯杆屏<b class='flag-5'>解决方案</b>

    揭秘动态化跨端框架在鸿蒙系统下的高性能解决方案

    平台解决方案。 在研发团队使用后可大幅降低研发人力成本;为业务提供实时触达、A/B触达等能力以提升业务投放效率;同时保障了C端用户优秀的用户体验。 一、动态化跨端框架原理介绍        通过上图,我们先了解一下动态化跨端框架
    的头像 发表于 10-08 13:46 706次阅读
    揭秘动态化跨端<b class='flag-5'>框架</b>在鸿蒙系统下的高性能<b class='flag-5'>解决方案</b>

    BCM中的开关检测:集成MSDI解决方案与半分立解决方案

    电子发烧友网站提供《BCM中的开关检测:集成MSDI解决方案与半分立解决方案.pdf》资料免费下载
    发表于 09-20 09:08 0次下载
    BCM中的开关检测:集成MSDI<b class='flag-5'>解决方案</b>与半分立<b class='flag-5'>解决方案</b>

    工大高科与科大讯飞签订战略合作框架协议

    近日,工大高科与科大讯飞正式签署战略合作框架协议,共同致力于智能化矿山的建设与发展。根据协议,双方将深度合作,共同研发和应用前沿的智能矿山解决方案
    的头像 发表于 05-20 11:23 490次阅读

    多端口能量路由实时控制仿真系统解决方案

    RCP多端口设备电力电子教学产品结合CBox设备,通过MATLAB及相关硬件的模块化设计,为解决教学内容复杂、理论与实际脱节等问题提供了一种创新的解决方案。 RCP多端口设备可实现几乎大部分经典电力
    发表于 05-10 11:05

    智能音箱解决方案

    智能音箱解决方案
    的头像 发表于 05-09 09:37 561次阅读
    智能音箱<b class='flag-5'>解决方案</b>

    什么是SNP SAP云端数据集成解决方案

    SNPSAP云端数据集成解决方案利用云计算的灵活性、可伸缩性和低成本,实现更快速的数据驱动决策制定。通过AI和机器学习进行高级分析,消除SAP数据孤岛,加速数据实现价值的时间,无需新硬件投资。该方案
    的头像 发表于 12-28 14:18 461次阅读

    中软国际数据治理专业服务解决方案获得华为云联合基线解决方案认证

    近日,中软国际联合华为云生态及技术团队共同设计的数据治理专业服务解决方案成功通过华为云基线解决方案专家团队评审,中软国际数据治理专业服务解决方案正式成为华为云联合基线解决方案。 打造基
    的头像 发表于 12-20 20:25 850次阅读
    中软国际数据治理专业服务<b class='flag-5'>解决方案</b>获得华为云联合基线<b class='flag-5'>解决方案</b>认证

    华为被评为智慧园区解决方案领导者

    MarketScape聚焦评估厂商在解决方案领域的综合竞争力,采用 定性加定量 的方式严格评分;它提供了一个清晰的框架,对IT和CT技术
    的头像 发表于 12-19 15:50 441次阅读
    华为被评为智慧园区<b class='flag-5'>解决方案</b>领导者