0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

简述图文存储常识:单机、集中、分布式、云、云原生存储

存储加速器 来源: 阿里云云栖号 作者: 阿里云云栖号 2021-05-26 10:05 次阅读

背景

本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知。

存储发展史

从单机到互联网,存储作为的基础设施,主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进,时至今日,在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储

007b4ca6-bd41-11eb-9e57-12bb97331649.jpg

各阶段存储的基本形态如下

008de56e-bd41-11eb-9e57-12bb97331649.jpg

各阶段基本形态

存储数据分类 & 模型

无论单机存储、分布式存储、云存储都是基于特定应用场景下,对指定数据类型构建对应的存储数据模型

数据分类

009812c8-bd41-11eb-9e57-12bb97331649.jpg

数据模型

00a22e66-bd41-11eb-9e57-12bb97331649.jpg

存储类型

常见三种存储类型:块存储、文件存储、对象存储

00bc0c00-bd41-11eb-9e57-12bb97331649.jpg

块存储

基于Block块的存储模式,两种常见存储方式:

DAS(Direct Attch Storage), 直连主机存储方式

SAN (Storage Area Netowrk),高速网络链接主机存储方式

文件存储

依附网络提供文件存储服务

对象存储

构建于键值存储,核心是将数据通路(data)和控制通路(meta)分离,并且基于对象存储设备(Object-based Storage Device,OSD)构建存储系统,对外以RSETful API形式服务

单机存储

基本概念

单机存储系统是单机存储引擎(数据结构在机械磁盘、SSD等持久化介质上的实现)的一种封装,对外提供文件、键值、表格或者关系模型的存储服务。

存储引擎

存储引擎是存储系统的发动机,决定了存储系统能够提供的功能和性能, 提供功能包含:

增加(Create)

读取(Retrieve),随机读取和顺序扫描

更新(Update)

删除(Delete

引擎间差异如下:

00d736c4-bd41-11eb-9e57-12bb97331649.jpg

集中式存储

基本概念

集中式存储相对与单机存储而言,存储系统中包含了更多组件,除了机头(控制器)、磁盘阵列(JBOD)和交换机等设备外,还有管理设备等辅助设备。

00eea020-bd41-11eb-9e57-12bb97331649.jpg

参考:集中式存储的基本逻辑示意图

系统构成

机头,整个存储系统的核心部件,通常由控制器、前后端口组成,

控制器,通常有二,实现互备高可用,控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为LUN提供给服务器使用。

前后端口,前端端口用户为服务器提供存储服务,后端端口用于扩充存储系统的容量(连接更多的存储设备)

磁盘柜(Just a Bound Of Disk , JBOD),磁盘挂在服务器外的专用柜里,有独立电源、散热、接口等,内部线缆相连(SCSI),对机头后端端口统一挂载

分布式存储

基本概念

分布式存储系统,是将分散独立的存储设备通过网络互联,系统关联,对外作为一个整体提供存储服务。

系统分类

分布式文件系统

分布式键值系统

分布式表格系统

分布式数据库

设计原则

参考CAP

云存储

基本概念

云存储,是一种云计算领域存储服务方式,底层构建在分布式存储基础之上,上层通过Internet形式提供存储服务,除具备分布式存储基础特性外,更兼具灵活性,通常由云厂商提供

参考产品

0120da7c-bd41-11eb-9e57-12bb97331649.jpg

云原生存储

基本概念

云原生存储脱胎于云存储,除具备云存储的特性外、须满足具备云原生生态系统中其他所有组件具备相同的动态(公共云/专有云/混合云等场景)构建可扩展应用、S3 API 驱动、K8S友好等

参考示例

Rook

CNCF首个云原生存储项目Rook,是将文件、数据块和对象存储系统引入到Kubernetes集群,与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式,云原生集群可以在公有云和本地部署中自给自足并且具备可移植性。该项目的开发目的是使企业能够通过动态应用编排,为在本地和公有云环境中运行的分布式存储系统实现数据中心现代化。

013bf500-bd41-11eb-9e57-12bb97331649.jpg

Rook Architecure

01493774-bd41-11eb-9e57-12bb97331649.jpg

Ceph Rook integrates with Kubernetes

MinIO

MinIO是一款高性能、软件定义的,对象存储套件,帮助客户构建云原生数据基础设施。可与 Kubernetes 集成,允许操作员使用 Kubernetes 界面管理存储,而 Kubernetes 可以处理从存储提供到卷放置的所有事务。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    16203

    浏览量

    177404
  • 交换机
    +关注

    关注

    21

    文章

    2622

    浏览量

    99257
  • JBOD
    +关注

    关注

    0

    文章

    3

    浏览量

    8985
  • 单机
    +关注

    关注

    0

    文章

    15

    浏览量

    6277

原文标题:图文存储常识:单机、集中、分布式、云、云原生存储

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 118次阅读
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统软件助力电信工程海量数据<b class='flag-5'>存储</b>项目

    某证券公司智能投资交易云集群高性能分布式存储应用

    某证券公司智能投资交易云集群高性能分布式存储应用
    的头像 发表于 09-27 09:57 233次阅读
    某证券公司智能<b class='flag-5'>云</b>投资交易云集群高性能<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>应用

    分布式存储费用高吗?大概需要多少钱

    分布式存储的费用是否高,取决于多个因素,包括存储容量、性能要求、服务提供商、计费模式等。因此,无法简单地给出一个“高”或“不高”的答案。通常分布式
    的头像 发表于 09-24 10:41 223次阅读

    计算厂家使用WDS分布式存储构建其高性能超融合一体机

    计算厂家使用WDS分布式存储构建其高性能超融合一体机
    的头像 发表于 09-23 09:57 193次阅读
    <b class='flag-5'>云</b>计算厂家使用WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>构建其高性能超融合一体机

    基于分布式存储系统医疗影像数据存储解决方案

    基于分布式存储系统医疗影像数据存储解决方案
    的头像 发表于 09-14 09:53 266次阅读
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统医疗影像数据<b class='flag-5'>存储</b>解决方案

    基于分布式存储WDS的金融信创承载数据库类关键应用

    基于分布式存储WDS的金融信创承载数据库类关键应用
    的头像 发表于 08-16 09:42 241次阅读
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>WDS的金融信创<b class='flag-5'>云</b>承载数据库类关键应用

    从积木到装配云原生安全

    从这两个方面分别进行分析和解决。 新技术带来新的安全风险 云原生的概念定义本身就比较抽象,从诞生到现在也经历了多次变化。2018年CNCF对云原生的概念进行了重定义:云原生技术有利于各组织在公有
    的头像 发表于 07-26 10:35 273次阅读
    从积木<b class='flag-5'>式</b>到装配<b class='flag-5'>式</b><b class='flag-5'>云原生</b>安全

    基于WDS的保险公司极速分布式存储建设高速混合方案

    基于WDS的保险公司极速分布式存储建设高速混合方案
    的头像 发表于 07-08 09:52 272次阅读
    基于WDS的保险公司极速<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>建设高速混合<b class='flag-5'>云</b>方案

    黑龙江电力高性能WDS分布式存储系统解决方案

    黑龙江电力高性能WDS分布式存储系统解决方案
    的头像 发表于 07-01 09:54 330次阅读
    黑龙江电力高性能WDS<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统解决方案

    大数据时代的存储革命:理解分布式存储系统

    数据管理的效率极低。因此,分布式存储系统应运而生。 分布式存储就是将数据存储在众多的服务器或网络节点上,而不是
    的头像 发表于 03-07 15:40 397次阅读

    分布式存储与计算:大数据时代的解决方案

    分布式存储和计算技术应运而生,并迅速成为处理大数据的首选方案。本文将深入探讨分布式存储和计算的概念、优势及其在各个领域的应用情况。 1.分布式
    的头像 发表于 03-07 14:42 696次阅读

    高性能存储实现新突破的英特尔至强处理器

    基于第四代英特尔 至强 可扩展处理器的 Curve 高性能分布式存储方案在吞吐、时延、TCO 等方面具备出色优势,能够为金融、互联网、交通、能源等各行业提供高效的云原生存储解决方案。
    发表于 02-26 14:01 450次阅读
    高性能<b class='flag-5'>存储</b>实现新突破的英特尔至强处理器

    【Vsan数据恢复】Vsan分布式存储虚拟磁盘文件丢失的数据恢复案例

    一套vsan分布式存储架构有数台服务器节点,该vsan分布式存储架构配置了固态硬盘和机械硬盘,固态硬盘作为缓存盘使用,机械硬盘作为容量盘使用。 机房供电异常导致服务器异常关机,工作人
    的头像 发表于 01-03 16:39 592次阅读

    一图读懂《分布式融合存储研究报告(2023)》

    转自:存储产业技术创新战略联盟 2023年11月30日, 存 储产业技术创新战略联盟、中国电子技术标准化研究院联合发布《分布式融合存储研究报告(2023)》,详细阐释分布式融合
    的头像 发表于 12-21 18:05 687次阅读
    一图读懂《<b class='flag-5'>分布式</b>融合<b class='flag-5'>存储</b>研究报告(2023)》

    云原生数据库GaiaDB架构设计解析

    目前,云原生数据库已经被各行各业大规模投入到实际生产中,最终的目标都是「单机 + 分布式一体化」。但在演进路线上,当前主要有两个略有不同的路径。
    的头像 发表于 12-14 14:48 553次阅读
    <b class='flag-5'>云原生</b>数据库GaiaDB架构设计解析