0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为云数据库GaussDB(for Influx)揭秘:数据分级存储

路过的憨憨 来源:路过的憨憨 作者:路过的憨憨 2022-12-02 17:28 次阅读

华为云数据库GaussDB揭秘:数据分级存储

“只存储这些数据一年就要花费200多万?”

面对老板的质疑,小王又重新讲解了一遍评估方案。为了支撑生产分析和系统运维,一个设备就需要几十个检测点数据,所有设备24小时不断采集数据,一天的数据量就会达到TB级,这些数据至少存储2年,再加上高可用的3副本,总的数据量会达到PB级。

小王又展示了当前云厂商存储价格和性能对比的调研结果:

磁盘类型

SATA——NVME

成本100G/月

9.9——100

IOPS

2200——50000

吞吐量

50M/s——350M/s

访问时延

5ms~10ms——1ms

不同存储其性能差异很大。例如NVME盘的吞吐量是SATA盘的7倍,IOPS超过了20倍,当然对应的成本也高出10倍左右。根据测试评估,低成本的存储性能无法满足大量数据的写入和实时业务的监控,只得使用性能高的SSD盘,因此导致存储的成本提高。

成本提高,老板自然不满意。那如何才能既满足性能需求,又能控制成本呢?小王想,“实际上,不是所有的数据处理都需要很高的性能,如果把价值高的数据放在高性能磁盘上满足业务需求,价值低的数据放在低成本磁盘上降低成本,这样不就既能满足需求,又能降低成本了么?”

不过,想法很美好,现实很残酷,要实现这个方案,小王面临着更多的难题:

(1)怎么在一套系统中既能使用高性能存储,又能使用低成本存储?

(2)怎么区分高价值数据?

(3)高价值数据变成低价值数据后怎么自动转储?

(4)当前业务改造量要尽量少。

1.GaussDB(for Influx)解决方案

企业的数字化转型,数据是基础。为了能实时掌握设备、系统状态,需要采集大量的数据并进行实时处理。这些数据都属于时序数据,带有明显的特点,如时间戳、更新少、数据源唯一等。除了数据本身的特点,在业务应用上还具有如下特点:

  • 随着时间的推移,其被查询和分析的概率越来越低。
  • 随着时间的推移,对数据分析的实时性要求越来越低。
  • 随着时间的推移,数据的精度要求越来越低。
  • 数据只保留一段时间,到期后会删除。

如何结合时序数据的特点,实现小王既满足业务性能,又控制成本的美好愿望呢?华为云GaussDB(for Influx)时序数据库的数据分级存储功能完美解决了困扰小王的问题。

  1. 华为云GaussDB(for Influx)依托云原生能力,实现了计算存储分离的分布式架构,其中存储基于华为分布式存储DFV和对象存储OBS,解决了在一套系统中既能使用高性能存储,又能使用低成本存储的问题,其具体架构如下图:

1669973295015vi4fcrdq2w

分布式DFV存储属于高性能存储,热数据放在DFV中确保业务性能要求;OBS存储属于低成本存储,冷数据存储在OBS中,降低客户成本。

  1. 提供了冷热数据自动分离的方案,用户在创建保留策略时,可以指定冷热数据的划分时间,系统根据用户的指定,自动将数据分为热数据和冷数据,解决了数据如何划分的问题。
  2. 随着时间的推移,热数据转冷,系统会自动将数据转储到冷存储上。
  3. 上述过程中只有在创建RP时需要指定冷热数据策略。对于业务侧是不感知的,避免业务的适配和改造。

2.GaussDB(for Influx)冷热存储的使用

GaussDB(for Influx)存储分级功能使用十分方便,在购买冷存储后,设置RP策略时指定冷存储的时间即可,系统会根据RP策略,自动将冷数据转储到底成本存储上。业务在访问冷数据时,系统会自动去冷存储上读取,整个过程业务是不感知的,对业务无影响。

2.1购买冷存储

GaussDB(for Influx)支持一键购买冷存储空间,可以在购买实例时选择是否够买冷存储,选择“是”,可以根据业务需求选择冷存储的大小,具体如下图:

1669973295338j8ospjaw2x

也可以在购买实例后,独立购买冷存储。进入实例详情页面,点击创建冷存储空间,如下图:

1669973295632l6yi64pf2z

跳转到如下页面,按照业务需求进行存储空间大小选择:

1669973295907s8g3mt11po

冷存储空也支持在线扩容,扩容过程中不影响业务。

2.2设置冷数据规则

在购买了冷存储空间后,就可以按照业务需求设置冷数据的规则,系统会根据规则,自动划分冷热数据,并将冷数据存储在冷存储空间上。可以通过创建RP来指定冷热数据规则,具体示例如下:

//在db名为mydb上创建名为myrp的RP,显示指定WARM DURATION为6d,表示6天前的数据是冷数据。

create retention policy myrp on mydb duration 30d replication 1 warm duration 6d shard duration 3d

//在db名为mydb上创建名为myrp的RP,没有指定WARM DURATION,表示没有冷数据。

create retention policy myrp on mydb duration 30d replication 1 shard duration 3d

//创建名为mydb的db,并带有名为myrp的RP,显示指定WARM DURATION为3d,表示3天前的数据是冷数据。

create database mydb with duration 6d warm duration 3d name myrp

//修改WARM DURATION为7d,表示7天前的数据是冷数据。

alter retention policy myrp on mydb warm duration 7d

规则设置完成后,系统会根据指定的规则,自动判断哪些数据属于冷数据,并自动将数据转储到冷存储上。

2.3使用效果验证

冷数据规则设置好,插入数据一段时间后,系统会自动判断数据是否转为冷数据,如果已经成为冷数据,系统会自动将数据转储到冷存储上。可以通过show shards命令来查看数据的状态,如下图所示:

> show shards

name: hsdb

id database retention_policy shard_group start_time end_time expiry_time owners tier

-- -------- ---------------- ----------- ---------- -------- ----------- ------ ----

5 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 4 cold

6 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 5 moving

7 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 6 warm

8 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 7 cold

cold:表示数据为冷数据,已存储在冷存储中;

moving:表示数据为冷数据,该数据正在转储到冷存储中;

warm:表示数据为热数据。

3.总结

在应用了GaussDB(for Influx)的冷热分级存储方案后,存储100T的数据量一年,按照1个月内的数据是热数据,其余是冷数据,其总体的存储成本从250万降至37.5万,可节省85%的存储成本。

GaussDB(for Influx)除了冷热分级存储功能外,在集群化、读写性能、压缩率、高可用方面也做了深度优化,能更好地满足时序应用的各种场景。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4222

    浏览量

    85569
  • 华为云
    +关注

    关注

    3

    文章

    2390

    浏览量

    17240
收藏 人收藏

    评论

    相关推荐

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。
    的头像 发表于 10-31 13:21 86次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    数据库可以租用吗?完整租用流程来了

    数据库是可以租用的,这是一种合法且便捷的数据存储和管理方式。数据库
    的头像 发表于 10-28 09:54 82次阅读

    科技报到:大模型时代下,向量数据库的野望

    科技报到:大模型时代下,向量数据库的野望
    的头像 发表于 10-14 17:18 185次阅读

    一文讲清什么是分布式数据库

    分布式数据库是一种先进的数据管理系统,它将传统的数据库技术与分布式计算、计算和大数据处理技
    的头像 发表于 10-14 10:06 165次阅读

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库
    的头像 发表于 09-20 11:46 260次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    基于分布式存储WDS的金融信创承载数据库类关键应用

    基于分布式存储WDS的金融信创承载数据库类关键应用
    的头像 发表于 08-16 09:42 224次阅读
    基于分布式<b class='flag-5'>存储</b>WDS的金融信创<b class='flag-5'>云</b>承载<b class='flag-5'>数据库</b>类关键应用

    数据库数据恢复—raid5阵列上层Sql Server数据库数据恢复案例

    数据库数据恢复环境: 5块硬盘组建一组RAID5阵列,划分LUN供windows系统服务器使用。windows系统服务器内运行了Sql Server数据库存储空间在操作系统层面划分
    的头像 发表于 05-08 11:43 462次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—raid5阵列上层Sql Server<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复案例

    华为GaussDB数据库基础版发布:旗舰性能、价格下降超60%

    高性价比:相比企业版,华为 GaussDB 基础版价格大幅下调(降幅达 60%-70%),且支持全场景数据压缩,具有“超高压缩比”,性能影响仅为 5%-10%,
    的头像 发表于 05-07 14:21 540次阅读

    华为多模数据库 GeminiDB 架构与应用实践直播问答实录

    多模数据库作为一种新兴的数据管理解决方案,正在受到越来越多的关注。而华为多模数据库 GeminiDB 基于云原生
    的头像 发表于 04-08 18:25 1117次阅读

    华为云原生多模数据库 GeminiDB 架构与应用实践

    近日,2023 全球分布式大会·深圳站顺利召开,华为 NoSQL 数据库研发总监余汶龙在会上发表了题为《华为云原生多模
    的头像 发表于 04-08 18:23 1130次阅读
    <b class='flag-5'>华为</b>云原生多模<b class='flag-5'>数据库</b> GeminiDB 架构与应用实践

    选择 KV 数据库最重要的是什么?

    最后我也没问清楚他们业务存啥(推测是这块业务数据比较机密),但确实业务本身对可靠性要求非常高,开源 Redis 自身的可靠性无法满足他们的要求,最终该用户选择使用 GaussDB(for Redis)数据库,当前
    的头像 发表于 03-28 22:11 653次阅读
    选择 KV <b class='flag-5'>数据库</b>最重要的是什么?

    GaussDB(for Redis) 特性揭秘:多租户管理

    华为 GaussDB(for Redis)持续完善企业级增强特性,是名副其实的 "Redis Plus" ,其中很经典的企业级特性是 多租户能力 ,支持添加只读账号、读写账号,且具备强大的 DB
    的头像 发表于 03-28 22:06 712次阅读
    <b class='flag-5'>GaussDB</b>(for Redis) 特性<b class='flag-5'>揭秘</b>:多租户管理

    华为存储携手优炫软件,共促中国多主数据库加速发展

    2023年12月5日,华为数据存储与优炫软件共同发布“数据库存算分离联合解决方案”。此次发布内容包含满足金融、运营商、能源、制造、政务等多个行业不同业务场景的三大
    的头像 发表于 12-11 09:12 649次阅读

    常见的存储Idea数据库的地方

    Idea的数据库存储在许多不同的地方,取决于应用程序和使用的技术。下面将详细描述一些常见的存储Idea数据库的地方。 关系型数据库(RDB
    的头像 发表于 12-06 14:15 894次阅读

    NoSQL 数据库如何选型

    数据库。不管它是“nonSQL”的缩写,还是“notonlySQL”的缩写,大多数人都同意,NoSQL数据库是以关系表之外的格式存储数据的。NoSQL
    的头像 发表于 11-26 08:05 424次阅读
    NoSQL <b class='flag-5'>数据库</b>如何选型