0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为再出新品:GaussDB(for Influx)数据库的魅力了解一下

zz爱尚科技 来源:zz爱尚科技 作者:zz爱尚科技 2022-10-12 11:29 次阅读

华为再出新品:GaussDB(for Influx)数据库的魅力了解一下

华为自用的GaussDB(for Influx)数据库逐渐深入大众视野,到底值不值得期待?

``

时序数据库想必大家都有所耳闻,现在在很多行业内都有所应用,它的优点就是可以根据时间段,每一分每一秒都精准地记录和整理数据。最大的缺点也就显而易见,因为产生数据的频率过快,导致数据量过大,一天可以产生几十GB,甚至达到TB级,久而久之形成了海量的时序数据,数据的存储就成了最大的问题。如何在长久地保存这些数据的同时压缩数据?传统的数据库肯定做不到,那么有没有企业能突破这个瓶颈?

目前而言,华为推出的GaussDB(for Influx)时序数据库是最能达到业内标准的。

GaussDB(for Influx)时序数据库是华为在数据存储领域摸爬滚打多年后,整合华为云多方面能力,大胆推出的技术创新。这一次也是华为内部经过多次反复调试达到了预期的效果后才决定将GaussDB(for Influx)时序数据库对外开放,帮助上云企业解决相关业务问题。像华为这种大企业能认可的数据库,肯定有两把刷子在身上,敢推向市面也肯定有足够的把握。

从框架上来看,时序数据库分为三大部分。第一,Shard节点,主要负责数据的写入和查询,在这个节点内,除了分片和时间线管理外,还能预处理数据——聚合、降解预数据。第二,Config集群,可以储存和管理元数据,采用三节点的复制模式,保证元数据的可靠性。第三,分布式存储系统,能集中并且持久地存储数据和日志,采用三副本方式存放,能用性和可靠性都毋庸置疑。

相比于InfluxDB等开源时序数据库,GaussDB(for Influx)接口不仅完全兼容InfluxDB,写入接口兼容OpenTSDB、Prometheus和Graphite,完全属于上级和下级关系。GaussDB(for Influx)容错率更高,可以容忍N-1节点故障;存储与计算也是相互分离的,在保持高性能写入的同时还可以进行查询业务,也不用担心系统故障导致业务中断或者数据丢失,GaussDB(for Influx)可以实时保存。

拥有分钟级计算节点扩容,秒级存储扩容,GaussDB(for Influx)扩缩容比其他的数据库更加快速。由于避免了迁移过程中大量数据的物理绑定约束,所以可以做到原来以天为单位的数据传输缩短为分钟级别。精简副本也是关键,消除冗杂的副本模式,降低储存成本,提升用户体验感。

以上是GaussDB(for Influx)的优化内容,那么它的核心能力,又有哪些?

``

image.png

首先,支持亿级时间线。在分配上,大量使用内存池复用技术,降低内存碎片;在回收上实现算法根据内存负载,能动态调整GC频率,加快内存回收;在缓存上,根据不同的时间节点,调整不同的配置。通过这样的改进,可以达到每天万亿条的数据写入。 其次,极致写入性能。GaussDB(for Influx)可以支持每天万亿条数据写入,实现了集群处理,确保日志持久化,数据库多副本复制卸载到分布式存储,降低计算节点到存储节点的网络流量。在大规模写入场景下,GaussDB(for Influx)的写入性能线性扩展度大于80%。

再就是低成本的数据压缩。为什么同样的工作量却只需1/20的存储成本?原因就是采用不同的压缩方式,将Gorilla压缩算法进行了优化,先把数值转为整数,再根据数据特点,选择最合适的数据压缩算法。选择完合适的压缩方式就是压缩过程,采用了压缩效率更好的ZSTD压缩算法,并根据待压缩数据的Length使用不同Level的编码方法。最终采用差量压缩方法,进一步降低时序数据存储成本。而压缩数据也只是节约成本的方式之一,GaussDB(for Influx)还特意提供了时序数据的分级存储,可以自定义冷热数据。选择合适的储存模式就能达到节约存储成本的目的。

最后是高性能多维聚合查询。多维聚合是时序数据库中较为常见、且会定期重复执行的一种查询。而基于滑动窗口的聚合查询,大部分从聚合结果缓存中直接命中,仅需要聚合增量数据部分即可,加快查询数据中的无关信息过滤。

GaussDB(for Influx)的应用场景非常广泛,在能源、制造、IOT、互联网等行业的监控统计及分析业务场景中都可以应用上,甚至可以说是必不可少的。当然GaussDB(for Influx)数据库还将不断提升数据的存储模式,带来更好的用户体验。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    215

    文章

    34294

    浏览量

    251165
  • 数据库
    +关注

    关注

    7

    文章

    3761

    浏览量

    64272
  • 人工智能
    +关注

    关注

    1791

    文章

    46840

    浏览量

    237514
收藏 人收藏

    评论

    相关推荐

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成个NDF文件,每个NDF几百GB大小。数据库
    的头像 发表于 10-31 13:21 138次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    科技云报到:大模型时代,向量数据库的野望

    科技云报到:大模型时代,向量数据库的野望
    的头像 发表于 10-14 17:18 203次阅读

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库
    的头像 发表于 09-20 11:46 285次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    Oracle数据恢复—Oracle数据库delete删除的数据恢复方法

    删除Oracle数据库数据般有以下2种方式:delete、drop或truncate。下面针对这2种删除oracle数据库数据的方式探讨
    的头像 发表于 09-11 11:45 318次阅读

    数据库数据恢复—raid5阵列上层Sql Server数据库数据恢复案例

    数据库数据恢复环境: 5块硬盘组建组RAID5阵列,划分LUN供windows系统服务器使用。windows系统服务器内运行了Sql Server数据库,存储空间在操作系统层面划分
    的头像 发表于 05-08 11:43 475次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—raid5阵列上层Sql Server<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复案例

    华为GaussDB数据库基础版发布:旗舰性能、价格下降超60%

    高性价比:相比企业版,华为GaussDB 基础版价格大幅下调(降幅达 60%-70%),且支持全场景数据压缩,具有“超高压缩比”,性能影响仅为 5%-10%,存储成本降低 50%。
    的头像 发表于 05-07 14:21 575次阅读

    华为云多模数据库 GeminiDB 架构与应用实践直播问答实录

    多模数据库作为种新兴的数据管理解决方案,正在受到越来越多的关注。而华为云多模数据库 GeminiDB 基于云原生
    的头像 发表于 04-08 18:25 1135次阅读

    选择 KV 数据库最重要的是什么?

    最后我也没问清楚他们业务存啥(推测是这块业务数据比较机密),但确实业务本身对可靠性要求非常高,开源 Redis 自身的可靠性无法满足他们的要求,最终该用户选择使用 GaussDB(for Redis)数据库,当前
    的头像 发表于 03-28 22:11 673次阅读
    选择 KV <b class='flag-5'>数据库</b>最重要的是什么?

    传感器之外—两个数据库之间的“连接”查询

    年后的小编在写些代码,没有及时更新我们的公众号,干脆,先把其中涉及到数据库的的些操作,尤其是不同数据库,多个表的“连接”查询的操作过程小结一下
    的头像 发表于 03-12 14:54 483次阅读
    传感器之外—两个<b class='flag-5'>数据库</b>之间的“连接”查询

    数据库数据恢复】Oracle数据库ASM实例无法挂载的数据恢复案例

    oracle数据库ASM磁盘组掉线,ASM实例不能挂载。数据库管理员尝试修复数据库,但是没有成功。
    的头像 发表于 02-01 17:39 474次阅读
    【<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复】Oracle<b class='flag-5'>数据库</b>ASM实例无法挂载的<b class='flag-5'>数据</b>恢复案例

    mysql怎么新建数据库

    mysql怎么新建数据库 如何新建数据库在MySQL中 创建数据库是MySQL中的基
    的头像 发表于 12-28 10:01 847次阅读

    关于JSON数据库

    如何理解JSON数据库?作为NoSQL数据库种类型,JSON数据库有哪些优势呢?JSON数据库如何运作,它为应用程序开发者带来了哪些价值
    的头像 发表于 12-06 13:46 836次阅读
    关于JSON<b class='flag-5'>数据库</b>

    oracle数据库的基本操作

    Oracle数据库种关系数据库管理系统(RDBMS),广泛应用于企业级应用中。它具有强大的功能和灵活的配置选项,可以满足复杂的数据处理需求。本文将介绍Oracle
    的头像 发表于 12-06 10:14 659次阅读

    什么是JSON数据库

    如何理解JSON数据库?作为NoSQL数据库种类型,JSON数据库有哪些优势呢?JSON数据库如何运作,它为应用程序开发者带来了哪些价值
    的头像 发表于 12-02 08:04 823次阅读
    什么是JSON<b class='flag-5'>数据库</b>

    NoSQL 数据库如何选型

    什么是NoSQL数据库?为什么要使用NoSQL数据库?键值数据库内存键值数据库文档数据库列式数据库
    的头像 发表于 11-26 08:05 443次阅读
    NoSQL <b class='flag-5'>数据库</b>如何选型