0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

内存数据库中的自动优化是为了解决什么问题?

定向w 来源:定向w 作者:定向w 2022-08-24 17:03 次阅读

入库过程后的自动优化,是为了解决传统分布式数据库甚至Hadoop平台也非常常见的:在用户使用一段时间后,发现如果没有对数据库的存储进行人工定时维护,则会引起性能大幅下降的问题。

以柏睿数据的全内存分布式数据库RapidsDB来具体解释,RapidsDB的3个自动优化手段,就是解决核心的3个性能影响因素:

第一个是,无论做增删改操作,数据库都会自动对相关的列存行段中的数据自动重新排序,保证优秀的查询性能。第二个是当列存行段内重新排序完成后,其外的行段组会重新做排序组织,进一步使数据有序,二次优化性能。第三个是经过上述2点的优化,有序数据使压缩率得到提升,数据文件也得到合并,数据文件个数同时也会减少。IO读写性能可以在整个使用过程中,一直保存在极高的状态中。

目前知道的是,这个全内存分布式数据库RapidsDB已经在国有某大行普惠金融项目应用中运行超过10个月,产品自动优化证明了它的能力和价值。中间经历过几次10TB级的数据加载,每天10GB级的数据新增和更新,以及定时的滚动式删除。过程中,技术团队无需对数据库做任何优化干预,相同场景的数据操作没有任何性能下降的迹象。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7224

    浏览量

    90197
  • 优化
    +关注

    关注

    0

    文章

    220

    浏览量

    24031
  • 内存数据库
    +关注

    关注

    0

    文章

    9

    浏览量

    6406
收藏 人收藏

    评论

    相关推荐

    Oracle数据库的多功能集成开发环境

    Oracle数据库的多功能集成开发环境 快捷菜单的可视化对象编辑器 上下文感知的SQL代码补全、智能格式化和重构 逐步执行的自动调试功能 多功能数据检索、存储和管理
    的头像 发表于 01-14 13:52 181次阅读
    Oracle<b class='flag-5'>数据库</b>的多功能集成开发环境

    MySQL数据库的安装

    MySQL数据库的安装 【一】各种数据库的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】MySQL 介绍
    的头像 发表于 01-14 11:25 239次阅读
    MySQL<b class='flag-5'>数据库</b>的安装

    数据库是哪种数据库类型?

    数据库是一种部署在虚拟计算环境数据库,它融合了云计算的弹性和可扩展性,为用户提供高效、灵活的数据库服务。云数据库主要分为两大类:关系型
    的头像 发表于 01-07 10:22 223次阅读

    数据库加密办法

    ,当我们聊到数据加密的时候,可以从这些角度入手来提高数据的安全性。 TDE手段 TDE也就是透明数据加密,是一种在数据库级别进行加密的技术。它对整个
    的头像 发表于 12-24 09:47 269次阅读

    数据库数据恢复—Mysql数据库表记录丢失的数据恢复流程

    Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库无任何
    的头像 发表于 12-16 11:05 322次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—Mysql<b class='flag-5'>数据库</b>表记录丢失的<b class='flag-5'>数据</b>恢复流程

    数据库数据恢复—MYSQL数据库ibdata1文件损坏的数据恢复案例

    mysql数据库故障: mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库
    的头像 发表于 12-09 11:05 305次阅读

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库
    的头像 发表于 10-31 13:21 407次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    数据库可以租用吗?完整租用流程来了

    数据库是可以租用的,这是一种合法且便捷的数据存储和管理方式。云数据库是云服务提供商提供的各种服务化的关系型数据库(如RDS)、文档数据库
    的头像 发表于 10-28 09:54 269次阅读

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库
    的头像 发表于 09-20 11:46 468次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    恒讯科技分析:sql数据库怎么用?

    。 2、安装数据库软件: 在您的服务器或本地计算机上安装所选的数据库软件。 3、配置数据库服务器: 根据需要配置数据库服务器设置,包括内存
    的头像 发表于 07-15 14:40 448次阅读

    数据库数据恢复—SQL Server数据库所在分区空间不足报错的数据恢复案例

    SQL Server数据库数据恢复环境: 某品牌服务器存储中有两组raid5磁盘阵列。操作系统层面跑着SQL Server数据库,SQL Server数据库存放在D盘分区
    的头像 发表于 07-10 13:54 649次阅读

    双向赋能:AI与数据库的修行之道

    虽然硬件性能的提升为数据库处理海量数据提供了基础,但要真正发挥这些算力,需要对数据库内核进行深度优化。云和恩墨通过改进数据库内核,使之更好地
    的头像 发表于 06-28 23:07 554次阅读
    双向赋能:AI与<b class='flag-5'>数据库</b>的修行之道

    数据库数据恢复—raid5阵列上层Sql Server数据库数据恢复案例

    数据库数据恢复环境: 5块硬盘组建一组RAID5阵列,划分LUN供windows系统服务器使用。windows系统服务器内运行了Sql Server数据库,存储空间在操作系统层面划分了三个逻辑分区
    的头像 发表于 05-08 11:43 629次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—raid5阵列上层Sql Server<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复案例

    选择 KV 数据库最重要的是什么?

    经常有客户提到 KV 数据库,但却偏偏“不要 Redis”。比如有个做安全威胁分析平台的客户,他们明确表示自己对可靠性要求非常高,需要的不是开源 Redis 这种内存缓存,而是 KV 数据库
    的头像 发表于 03-28 22:11 781次阅读
    选择 KV <b class='flag-5'>数据库</b>最重要的是什么?

    通过Modbus读写数据库数据

    本文是将数据库数据转为Modbus服务端/从站,实现数据库内的数据也可以走Modbus协议通过网口或串口读写的案例,下图是通过智能网关的参数软件(在附件
    发表于 03-14 13:44