资料介绍
关于一致性
为什么需要Paxos或Quorum算法?分布式系统实现数据存储,是通过多份数据副本来保证可靠,假设部分节点访问数据失败,还有其他节点提供一致的数据返回给用户。对数据存储而言,怎样保证副本数据的一致性当属分布式存储最重要的问题。 一致性是分布式理论中的根本性问题,近半个世纪以来,科学家们围绕着一致性问题提出了很多理论模型,依据这些理论模型,业界也出现了很多工程实践投影。何为一致性问题?简而言之,一致性问题就是相互独立的节点之间,在可控的时间范围内如何达成一项决议的问题。
强一致写、多段式提交
强一致写
解决这个问题最简单的方法 ,就是强一致写。在用户提交写请求后,完成所有副本更新再返回用户,读请求任意选择某个节点。数据修改少节点少时,方案看起来很好,但操作频繁则有写操作延时问题,也无法处理节点宕机。
两段式提交(2PC 、Three-Phase Commit)
既然实际系统中很难保证强一致,便只能通过两段式提交分成两个阶段,先由Proposer(提议者)发起事物并收集Acceptor(接受者)的返回,再根据反馈决定提交或中止事务。
第一阶段:Proposer发起一个提议,询问所有Acceptor是否接受;
第二阶段:Proposer根据Acceptor的返回结果,提交或中止事务。如果Acceptor全部同意则提交,否则全部终止。
两阶段提交方案是实现分布式事务的关键;但是这个方案针对无反馈的情况,除了“死等”,缺乏合理的解决方案。 Proposer在发起提议后宕机,阶段二的Acceptor资源将锁定死等。如果部分参与者接受请求后异常,还可能存在数据不一致的脑裂问题。
三段式提交(3PC、Three-Phase Commit)
为了解决2PC的死等问题,3PC在提交前增加一次准备提交(prepare commit)的阶段,使得系统不会因为提议者宕机不知所措。接受者接到准备提交指令后可以锁资源,但要求相关操作必须可回滚。
但3PC并没有被用在我们的工程实现上,因为3PC无法避免脑裂,同时有其他协议可以做到更多的特性又解决了死等的问题。
图1 三段式提交,在二段式提交基础上增加prepare commit阶段
主流的Paxos算法
微信后台近期开始主要推广Paxos算法用于内部分布式存储。Paxos是Leslie Lamport提出的基于消息传递的一致性算法,解决了分布式存储中多个副本响应读写请求的一致性,Paxos在目前的分布式领域几乎是一致性的代名词(据传Google Chubby的作者Mike Burrows曾说过这个世界上只有一种一致性算法, 那就是Paxos,其他算法都是残次品)。Paxos算法在可能宕机或网络异常的分布式环境中,快速且正确地在集群内部对某个数据的值达成一致,并且保证只要任意多数节点存活,都不会破坏整个系统的一致性。Paxos的核心能力就是多个节点确认一个值,少数服从多数,获得可用性和一致性的均衡。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
- 分布式电源对配电系统的影响分析
- 分布式存储系统的局部修复码分析 19次下载
- 面向时空数据的分布式区块链综述 15次下载
- Ceph分布式存储系统性能优化研究综述 5次下载
- 基于分布式数据Cache的实时动态迁移机制 20次下载
- 一种可行的分布式存储系统安全构造方法 21次下载
- 基于预分区策略的分布式数据存储方法 18次下载
- 云存储中的Ceph分布式文件系统及节点选择 13次下载
- 区块链中的分布式数据库管理系统相关研究 8次下载
- 如何设计和实现基于UART的机器人分布式控制通信协议概述 7次下载
- 集群环境下分布式索引的实现 0次下载
- 分布式事务控制的原理实例分析 0次下载
- 基于省级截面数据的分布式光伏发电补贴政策实证分析_贾亚雷 0次下载
- 工业机器人分布式控制系统实例 112次下载
- 基于IEEE1588协议的分布式系统时钟同步方法
- 分布式存储架构面临的挑战 1513次阅读
- 如何使用分布式存储系统促进AI模型训练 608次阅读
- 融合互通,浪潮分布式融合存储AS13000加速海量数据处理 727次阅读
- 干货:解决分布式缓存与数据库的双存储双写 2616次阅读
- 应对海量图片存储的分布式存储解决方案 3824次阅读
- 分布式光纤传感器原理_分布式光纤传感器的应用 8835次阅读
- 关于腾讯的开源分布式存储系统DCache 2028次阅读
- 浅谈分布式存储的六大优点 9004次阅读
- Qtum量子链的分布式自治协议介绍 1504次阅读
- 分布式存储中HDFS与Ceph两者的区别是什么,各有什么优势? 3.1w次阅读
- 存储分布式系统中如何从CAP转到PACELC 2780次阅读
- 分布式存储运维系统构架简析 2671次阅读
- 浅谈分布式块存储的元数据服务设计 4951次阅读
- 分布式存储集群设计,集群网络规划方案 2880次阅读
- 深度解读分布式存储技术之分布式剪枝系统 1861次阅读
下载排行
本周
- 1DC电源插座图纸
- 0.67 MB | 2次下载 | 免费
- 2AN158 GD32VW553 Wi-Fi开发指南
- 1.51MB | 2次下载 | 免费
- 3AN148 GD32VW553射频硬件开发指南
- 2.07MB | 1次下载 | 免费
- 4AN111-LTC3219用户指南
- 84.32KB | 次下载 | 免费
- 5AN153-用于电源系统管理的Linduino
- 1.38MB | 次下载 | 免费
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下载 | 免费
- 7SM2018E 支持可控硅调光线性恒流控制芯片
- 402.24 KB | 次下载 | 免费
- 8AN-1308: 电流检测放大器共模阶跃响应
- 545.42KB | 次下载 | 免费
本月
- 1ADI高性能电源管理解决方案
- 2.43 MB | 450次下载 | 免费
- 2免费开源CC3D飞控资料(电路图&PCB源文件、BOM、
- 5.67 MB | 138次下载 | 1 积分
- 3基于STM32单片机智能手环心率计步器体温显示设计
- 0.10 MB | 130次下载 | 免费
- 4使用单片机实现七人表决器的程序和仿真资料免费下载
- 2.96 MB | 44次下载 | 免费
- 53314A函数发生器维修手册
- 16.30 MB | 31次下载 | 免费
- 6美的电磁炉维修手册大全
- 1.56 MB | 24次下载 | 5 积分
- 7如何正确测试电源的纹波
- 0.36 MB | 17次下载 | 免费
- 8感应笔电路图
- 0.06 MB | 10次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935121次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420062次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233088次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191367次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183335次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81581次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73810次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65988次下载 | 10 积分
评论