搜索历史

清空
搜索热词
      0
      • 聊天消息
      • 系统消息
      • 评论与回复
      查看更多
      查看更多
      查看更多
      VIP于 到期 续费
      登录后你可以
      • 下载海量资料
      • 学习在线课程
      • 观看技术视频
      • 写文章/发帖/加入社区
      会员中心
      创作中心
      发布
      创作活动

      完善资料让更多小伙伴认识你，还能领取20积分哦，立即完善>

      3天内不再提示

      为什么要分库分表？MySQL分库分表实践

      马哥Linux运维 • 来源：稀土掘金 • 2023-11-25 17:47 • 次阅读

      一、为什么要分库分表

      数据库架构演变

      刚开始多数项目用单机数据库就够了，随着服务器流量越来越大，面对的请求也越来越多，我们做了数据库读写分离， 使用多个从库副本（Slave）负责读，使用主库（Master）负责写，master和slave通过主从复制实现数据同步更新，保持数据一致。slave 从库可以水平扩展，所以更多的读请求不成问题

      但是当用户量级上升，写请求越来越多，怎么保证数据库的负载足够？增加一个Master是不能解决问题的， 因为数据要保存一致性，写操作需要2个master之间同步，相当于是重复了，而且架构设计更加复杂

      这时需要用到分库分表（sharding），把库和表存放在不同的MySQL Server上，每台服务器可以均衡写请求的次数

      二、库表太大产生的问题

      单库太大：单库处理能力有限、所在服务器上的磁盘空间不足、遇到IO瓶颈，需要把单库切分成更多更小的库

      单表太大：CRUD效率都很低，数据量太大导致索引文件过大，磁盘IO加载索引花费时间，导致查询超时。所以只用索引还是不行的，需要把单表切分成多个数据集更小的表。MyCat提供的分表算法都在rule.xml，可以根据不同的分表算法进行拆分，比如根据时间拆分、一致性哈希、直接用主键对分表的个数取模等

      拆分策略

      单个库太大，先考虑是表多还是数据多：

      如果因为表多而造成数据过多，则使用垂直拆分，即根据业务拆分成不同的库

      如果因为单张表的数据量太大，则使用水平拆分，即把表的数据按照某种规则（mycat/conf/rule.xml定义的分表算法）拆分成多张表

      分库分表的原则应该是先考虑垂直拆分，再考虑水平拆分

      三、垂直拆分

      分库分表和读写分离可以共同进行

      1. 垂直分库

      server.xml

      

      
123456
USERDB1,USERDB2

      

      

      
	
      

      
	配置了USERDB1、USERDB2这两个逻辑库
      

      
	schema.xml
      

      
	
      

      

      


  
   
  
  
    
    
  
  
    select user()
    
  
  
  
    select user()
    
  

      

      

      
	
      

      
	两个逻辑库对应两个不同的数据节点，两个数据节点对应两个不同的物理机器
      

      
	d78658b6-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	mytest1和mytest2分成了不同机器上的不同的库，各包含一部分表，它们原来是合在一块的，在一台机器上，现在做了垂直的拆分。

      
	客户端就需要去连接不同的逻辑库了，根据业务操作不同的逻辑库
      

      
	d79f1cf2-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	然后配置了两个写库，两台机器把库平分了，分担了原来单机的压力。分库伴随着分表，从业务上对表拆分
      

      
	2. 垂直分表
      

      
	垂直分表，基于列字段进行。一般是针对几百列的这种大表，也避免查询时，数据量太大造成的“跨页”问题。
      

      
	一般是表中的字段较多，将不常用的， 数据较大，长度较长（比如text类型字段）的拆分到扩展表。访问频率较高的字段单独放在一张表
      

      
	四、水平分表
      

      
	针对数据量巨大的单张表（比如订单表），按照某种规则（RANGE、HASH取模等），切分到多张表里面去。但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈，不建议采用
      

      
	将单张表的数据切分到多个服务器上去，每个服务器具有一部分库与表，只是表中数据集合不同。水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力，突破IO、连接数、硬件资源等的瓶颈
      

      
	分库分表可以和主从复制同时进行，但不基于主从复制；读写分离才基于主从复制
      

      
	1. 配置水平分表
      

      
	server.xml
      

      
	
      

      

      
  123456
  USERDB

      

      

      
	
      

      
	schema.xml
      

      
	
      

      

      


  
  
    
       
    
      
  
  
  
    select user()
    
  
  
    select user()
    
  


      

      
	
      

      
	d7b7cdec-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	user表示一个普通的表，直接放在数据节点dn1上，放在一台机器上，这张表不用进行拆分
      

      
	student表的primaryKey是id，根据id拆分，放在dn1和dn2上，最终这个表要分在两台机器上，在物理上分开了，但是在逻辑上还是一个，往哪张表里增加，在2台机器上查询然后如何合并这些操作都是由mycat完成的
      

      
	拆分的规则是取模（mod - long)，每次插入用id模上存在的机器数（2）
      

      
	此外还需要在rule.xml中配置以下拆分算法
      

      
	找到算法mod-long，因为我们将逻辑表student分开映射到两台主机上，所以修改数据节点的数量为2
      

      
	d7c959cc-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	2. 测试水平分表
      

      
	Linux主机
      

      
	d7d92852-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	Windows主机
      

      
	d7ed7e2e-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	登录到mycat的8066端口
      

      
	d80afac6-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	使用MyCat给user表插入两条数据
      

      
	d818fff4-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	由于schema.xml配置文件中，逻辑表user只在Linux主机的mytest1库中存在，mycat操作的逻辑表user会影响Linux主机上的物理表，而不会影响Windows主机上的表。我们分别查看一下Linux和Windows主机的user表：
      

      
	d82fc40a-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	d83f9de4-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	我们再通过MyCat给student表插入两条数据
      

      
	d848736a-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	我们知道schema.xml配置文件中，逻辑表student对应两台主机上的两个库mytest1、mytest2中的两张表，所以对逻辑表插入的两条数据，会实际影响到两张物理表（用id%机器数，决定插入到哪张物理表）。我们分别查看一下Linux和Windows主机的student表：
      

      
	d85938b2-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	再通过MyCat插入id=3和id=4的数据，应该插入不同主机上的不同物理表
      

      
	d87106e0-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	d88a09ce-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	这就相当于把student表进行水平拆分了
      

      
	通过MyCat查询的时候只需要正常输入就行，我们配置的是表拆分后放在这2个数据节点上，MyCat会根据配置在两个库上查询并进行数据合并
      

      
	d8a37742-8b76-11ee-939d-92fbcf53809c.jpg
      

      
	




      
	审核编辑：刘清
      
                                        
                    
      
                        声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
                        举报投诉
                    
      
                    
        
                            
      • 
                                Linux
                                
        
                                    
        
                                        
        
                                            
        
                                                Linux
                                            
        
                                            
        +关注
        
                                        
        
                                        
        
                                        
        
                                            
        
                                                
        关注
        
                                                87
                                            
        
                                            
        
                                                
        文章
        
                                                11236
                                            
        
                                            
        
                                                
        浏览量
        
                                                209024
                                            
        
                                        
        
                                    
        
                                
        
                            
      • 
                                MySQL
                                
        
                                    
        
                                        
        
                                            
        
                                                MySQL
                                            
        
                                            
        +关注
        
                                        
        
                                        
        
                                        
        
                                            
        
                                                
        关注
        
                                                1
                                            
        
                                            
        
                                                
        文章
        
                                                802
                                            
        
                                            
        
                                                
        浏览量
        
                                                26466
                                            
        
                                        
        
                                    
        
                                
        
                            
        •                         
      
                    
                    

                    
      
                            
      原文标题：MySQL 分库分表实践
      
                            
      文章出处：【微信号：magedu-Linux，微信公众号：马哥Linux运维】欢迎添加关注！文章转载请注明出处。
      
                        
                      
                
      
                    
      
                        收藏
                        人收藏

                        
      
                            
                        
      
                    
      
                    
                    
        
                
        

                
                
        
                    
        评论
        
                
        

                
        
                                            
                                        
        
                
                
        
                    
        相关推荐
        
                                                
        
    
        
        
            数据库分区、分库和分表
    
        
    
        今天先说说数据库的数据分区，分库以及分表的内容吧! 数据库分区、分库和分表 数据库分区、
        
    
        
        
            	的头像
                                    发表于 09-30 11:24        
        •2702次阅读            
        

    


                                    
        
    
        
        
            谈分布式数据库中间件之分库分表 　　
    
        
    
        　　分库分表，顾名思义就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。那么关于
        
    
        
                发表于 08-02 20:19        
                    
        

    


                                    
        
    
        
        
            关于MySQL分区和分表的详细介绍
    
        
    
        MySQL分区和分表
        
    
        
                发表于 07-10 07:40        
                    
        

    


                                    
        
    
        
        
            分库分表是什么？怎么实现？
    
        
    
        数据库分库分表、读写分离的原理实现，使用场景
        
    
        
                发表于 10-25 17:24        
                    
        

    


                                    
        
    
        
        
            利用Mycat实现MySQL读写分离、分库分表最佳实践
    
        
    
        利用Mycat实现MySQL读写分离、分库分表最佳实践
        
    
        
                发表于 09-08 10:20        
                •14次下载    
        

    

                    利用Mycat实现<b class='flag-5'>MySQL</b>读写分离、<b class='flag-5'>分库</b><b class='flag-5'>分</b><b class='flag-5'>表</b>最佳<b class='flag-5'>实践</b>    

                                    
        
    
        
        
            结合实践对水平分库做一个系统地剖析
    
        
    
        及实施落地，这里结合项目实践，对水平分库做一个系统地剖析，希望为大家水平分库（包括去IOE）改造提供思路，主要内容包括： 水平分库说明分库维
        
    
        
                发表于 10-11 17:46        
                •0次下载    
        

    

                    结合<b class='flag-5'>实践</b>对水平<b class='flag-5'>分库</b>做一个系统地剖析    

                                    
        
    
        
        
            数据库分库分表基础和实践
    
        
    
        决上述问题？如果仅仅通过增加一个主实例来分担写请求，写操作如何在两个主实例之间同步来保证数据一致性，如何避免双写，问题会变的更加复杂。这时就需要用到分库分表（sharding），对写操作进行切分
        
    
        
                发表于 09-05 16:40        
        •247次阅读            
        

    


                                    
        
    
        
        
            你们知道为什么要分库分表吗
    
        
    
        表？ 这些问题你都搞清楚了吗？相信看完这篇文章会有答案。 为什么要分库分表？ 首先回答一下为什么要
        
    
        
        
            	的头像
                                    发表于 08-16 10:37        
        •1513次阅读            
        

    


                                    
        
    
        
        
            优化MySQL数据库中朴实无华的分表和花里胡哨的分库
    
        
    
         4、水平分库 总结 首先我们要知道分库、分表都是干啥的，本文主角还是我们的MySQL为第一视角。首先从字面意思来看： 
        
    
        
        
            	的头像
                                    发表于 08-26 16:33        
        •1237次阅读            
        

    


                                    
        
    
        
        
            你是否知道分库分表需要哪些要素？
    
        
    
        分库分表会重新影响数据的分布，无论是全量还是增量，都会涉及到数据迁移，所以Databus是必要的。
        
    
        
        
            	的头像
                                    发表于 10-12 10:39        
        •756次阅读            
        

    


                                    
        
    
        
        
            什么是分库分表？为什么分库分表？什么情况下会用分库分表呢？
    
        
    
        分库分表是由分库和分表这两个独立概念组成的，只不过通常分库
        
    
        
        
            	的头像
                                    发表于 11-30 09:37        
        •7415次阅读            
        

    


                                    
        
    
        
        
            分库分表的21条法则速来码住（上）
    
        
    
        还是不着急实战，咱们先介绍下在分库分表架构实施过程中，会接触到的一些通用概念，了解这些概念能够帮助理解市面上其他的分库分表工具，尽管它们的实
        
    
        
        
            	的头像
                                    发表于 05-26 17:33        
        •544次阅读            
        

    

                    <b class='flag-5'>分库</b><b class='flag-5'>分</b><b class='flag-5'>表</b>的21条法则速来码住（上）    

                                    
        
    
        
        
            分库分表的21条法则速来码住（下）
    
        
    
        还是不着急实战，咱们先介绍下在分库分表架构实施过程中，会接触到的一些通用概念，了解这些概念能够帮助理解市面上其他的分库分表工具，尽管它们的实
        
    
        
        
            	的头像
                                    发表于 05-26 17:33        
        •614次阅读            
        

    

                    <b class='flag-5'>分库</b><b class='flag-5'>分</b><b class='flag-5'>表</b>的21条法则速来码住（下）    

                                    
        
    
        
        
            分库分表后复杂查询的应对之道：基于DTS实时性ES宽表构建技术实践
    
        
    
        1 问题域 业务发展的初期，我们的数据库架构往往是单库单表，外加读写分离来快速的支撑业务，随着用户量和订单量的增加，数据库的计算和存储往往会成为我们系统的瓶颈，业界的实践多数采用分而治之的思想：分库
        
    
        
        
            	的头像
                                    发表于 06-25 18:30        
        •839次阅读            
        

    

                    <b class='flag-5'>分库</b><b class='flag-5'>分</b><b class='flag-5'>表</b>后复杂查询的应对之道：基于DTS实时性ES宽<b class='flag-5'>表</b>构建技术<b class='flag-5'>实践</b>    

                                    
        
    
        
        
            软件系统数据库的分库分表设计
    
        
    
        软件系统数据库的分库分表设计 系统读写分离、分库分表技术实现采用MyCat中间件，MyCat 是
        
    
        
        
            	的头像
                                    发表于 08-22 11:39        
        •296次阅读            
        

    

                    软件系统数据库的<b class='flag-5'>分库</b><b class='flag-5'>分</b><b class='flag-5'>表</b>设计    

                        
                    
        

        
    
    

    
    
    
    
    
    
    
    
    
    
    
    
    
    


        




        
    
        
        
        
            
        华秋（原“华强聚丰”）：
        
            
        电子发烧友
        
            
        华秋开发
        
            
        华秋电路(原"华强PCB")
        
            
        华秋商城(原"华强芯城")
        
            
        华秋智造
        
        
        
        
        
            
        My ElecFans 
        
            
         APP 
            
        网站地图
        
        
        
    
        

    
        
        
        
            
        设计技术
        
            
        可编程逻辑
        
            
        电源/新能源
        
            
        MEMS/传感技术
        
            
        测量仪表
        
            
        嵌入式技术
        
            
        制造/封装
        
            
        模拟技术
        
            
        RF/无线
        
            
        接口/总线/驱动
        
            
        处理器/DSP
        
            
        EDA/IC设计
        
            
        存储技术
        
            
        光电显示
        
            
        EMC/EMI设计
        
            
        连接器
        
        
        
        
        
            
        行业应用
        
            
        LEDs 
        
            
        汽车电子
        
            
        音视频及家电
        
            
        通信网络
        
            
        医疗电子
        
            
        人工智能
        
            
        虚拟现实
        
            
        可穿戴设备
        
            
        机器人
        
            
        安全设备/系统
        
            
        军用/航空电子
        
            
        移动通信
        
            
        工业控制
        
            
        便携设备
        
            
        触控感测
        
            
        物联网
        
            
        智能电网
        
            
        区块链
        
            
        新科技
        
        
        
        
        
            
        特色内容
        
            
        专栏推荐
        
            
        学院
        
            
        设计资源
        
            
        设计技术
        
            
        电子百科
        
            
        电子视频
        
            
        元器件知识
        
            
        工具箱
        
            
        VIP会员
        
            
        最新技术文章
        
        
        
        
        
            
        社区
        
            
        小组
        
            
        论坛
        
            
        问答
        
            
        评测试用
        

            
        企业服务
        
            
        产品
        
            
        资料
        
            
        文章
        
            
        方案
        
            
        企业
        
        
        
        
        
            
        供应链服务
        
            
        硬件开发
        
            
        华秋电路
        
            
        华秋商城
        
            
        华秋智造
        
            
        nextPCB
        
            
        BOM配单
        

            
        媒体服务
        
            
        网站广告
        
            
        在线研讨会
        
            
        活动策划
        
            
        新闻发布
        
            
        新品发布
        
            
        小测验
        
            
        设计大赛
        
        
        
        
        
            
        华秋
        
            
        关于我们
        
            
        投资关系
        
            
        新闻动态
        
            
        加入我们
        
            
        联系我们
        
            
        举报投诉
        

            
        社交网络
        
            
        微博
        

            
        移动端
        
            
        发烧友APP
        
            
        硬声APP
        
            
        WAP
        
        
        
        
        
            
        联系我们
        
            
        广告合作
        
            
        王婉珠：wangwanzhu@elecfans.com
        

            
        内容合作
        
            
        黄晶晶：huangjingjing@elecfans.com
        

            
        内容合作（海外）
        
            
        张迎辉：mikezhang@elecfans.com
        

            
        供应链服务 PCB/IC/PCBA
        
            
        江良华：lanhu@huaqiu.com
        

            
        投资合作
        
            
        曾海银：zenghaiyin@huaqiu.com
        

            
        社区合作
        
            
        刘勇：liuyong@huaqiu.com
        
        
        
        
          
           
        • 
               
          关注我们的微信
          
               关注我们的微信
           
          • 
           
        • 
                
          下载发烧友APP
          
                下载发烧友APP
            
          •  
            
        • 
                
          电子发烧友观察
          
                电子发烧友观察
            
          •  
        
        
    
        

    
        
        
        
            
            
        
              
        
                  
        
                      
                         
                          
        
                            华秋发烧友
                          
        
                          
        电子工程师社区
        
                                
                  
        
              
        
              
        
                  
        
                      
                          
        
                            华秋电路
                          
        
                          
        1-32层PCB打样·中小批量
        
                              
                  
        
              
        
              
        
                  
        
                      
                          
        
                            华秋商城
                          
        
                          
        元器件现货·全球代购·SmartBOM
        
                              
                  
        
              
        
              
        
                  
        
                      
                          
        
                            华秋智造
                          
        
                          
        SMT贴片·PCBA加工
        
                              
                  
        
              
        
              
        
                  
        
                      
                          
        
                            NextPCB
                          
        
                          
        PCB Manufacturer
        
                                
                  
        
              
        
              
          
        
        
        
    
        

    
        
        
        版权所有 © 湖南华秋数字科技有限公司 
        
        
        长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层（0731-88081133）
        
        电子发烧友 
        （电路图）
        湘公网安备43011202000918 
      
        
            工商网监认证工商网监
        
        湘ICP备2023018690号-1