0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深耕文档型数据库12载,SequoiaDB再开源

话说科技 来源:话说科技 作者:话说科技 2024-01-16 13:06 次阅读

1月15日,巨杉数据库举行SequoiaDB新特性及开源项目发布活动。本次活动回顾了巨杉数据库深耕JSON文档型数据库12年的发展历程与技术演进,全面解读了SequoiaDB包括在高可用、安全、实时、易用性四个方向的技术特性,宣布了2024年面向技术社区的开源计划。此次发布活动不仅是对SequoiaDB性能的全面介绍,更是对十余年来始终坚守以JSON文档型数据库内核为技术底座的发展历程的深刻回顾。不忘来时路,方知向何行,巨杉数据库也将在2024年新年伊始,迎来新的篇章,开启新的征程!

稳健发展,行业影响力不断提升

回顾过去,巨杉数据库自2011年研发内核、2012年公司成立,至2013年推出SequoiaDB v1.0版本,再到如今已走过十二个春秋。历经12年的洗礼,巨杉数据库也取得了令人瞩目的成就。目前,巨杉数据库已经在超过100家大型银行及金融机构的核心生产业务规模应用,覆盖各行业的企业用户总数超过1000家。在金融行业,其客户群体涵盖国有银行、股份制银行、省级农信、城商行、保险、证券等金融机构,同时还积极扩展政府、汽车、新能源等多个行业客户,赢得了广泛的市场认可。其中超过50家企业的应用时间已超过6年,最长的系统运行时间甚至达9年。自成立以来,公司实现稳健发展,行业影响力不断提升,数据量及业务接入保持持续增长态势。

守正创新,发展JSON文档型内核

巨杉数据库SequoiaDB以 JSON 文档型数据库内核为技术底座,通过分布式架构为众多客户提供了多元化的业务和全方位的支持。正是因为对技术创新的坚持以及对市场需求的洞察,巨杉数据库始终坚守JSON文档型内核,在持续迭代中实现创新发展。

在JSON基础能力方面,从最初 v1版本,实现 CURD 原子性的操作以及基础的ACID支持,到 v2 版本逐步提升对LOB大对象的存储能力,标志着巨杉数据库具备“多模数据”处理能力,同时支持存储过程、聚集计算等特性。在 v3.0 版本中,进一步提供自增序列全文检索、基于时间点的数据恢复和兼容部分 Mongo 语法。跨越4.0版本,到v5.0 版本,SequoiaDB 着力提升稳定性能,对于统计信息、访问计划、存储等进行了大量优化,提供死锁检测等功能,并进一步地兼容 Mongo 3、 Mongo 4 的语法。

在分布式管理方面,从基础的多分区原生分布式架构,逐步提供读写分离、主子表、策略访问、多中心容灾、精细化容灾等特性,持续增强分布式能力。

在安全性方面,涵盖从基础的鉴权、加密到信创的各类能力。此外,推出了SCM内容管理引擎,专注于非结构化数据和多模数据处理的统一数据生命周期管理。

在易用性方面,通过SAC运营的管理平台,全面提升DBA运维的便捷性。

十二年来,巨杉数据库基于JSON文档型数据底座和分布式架构的不断更新与迭代,为企业提供可靠的数据处理和存储解决方案,帮助企业优化业务效率,提升客户满意度。

广泛拓展,基于文档型技术的应用场景

在中国乃至全球范围内,“CM场景”是文档型技术应用中重要且突出的场景。基于处理多变的数据结构和庞大的数据量的迫切需求,催生了“CM内容管理平台”,同时极大地推动了SequoiaDB技术的创新。巨杉数据库持续跟进客户需求,进行技术迭代,实现从1.0 到 5.0 的跨越式发展。巨杉数据库为金融银行客户提供,稳定、可靠、可持续扩展的「CM内容平台」成为「银行影像平台」及「非结构化管理平台」的数据基础设施,目前已吸纳超过100家客户使用该场景。可以说,基于文档型技术并应用于“CM内容管理平台”场景是巨杉数据库取得的最为显著的成果之一,这一场景也持续为巨杉数据库贡献了超过85%的客户及营收,成为业务的主打业务场景。

此外,文档型数据库在在线业务系统、实时数据湖、IoT领域以及AGI人工智能等领域也得到广泛应用。JSON灵活的格式适合各种在线业务系统,尤其是面向需要快速迭代开发的各类APP的业务应用,基于文档型数据库的开发,可以显著提升团队的研发效率。在实时数据湖方面,巨杉数据库借助JSON灵活的数据处理能力,已助力多家客户构建全量历史数据平台,支持跨系统、跨业务的实时高并发数据查询。

Vector Search基于文档型技术,探索AGI数据应用新边界


AGI 通用人工智能的发展,将进一步推动JSON文档型数据类型的应用(实际上,本次发布活动中,Vector Searche部分的讲解也是通过AI技术合成的)。

传统AI应用中,需要存取及处理的是,海量的半结构化「 CM 内容管理」数据、「动态标签」数据,以及各类非结构化对象数据。这些都正是 SequoiaDB 过去12年聚焦及取得显著成果的领域技术,而 AGI 全新的爆发性发展,必将对 JSON 文档型技术,带来全新的机遇及技术挑战。当前,业界领先的 Open AI、文心一言等大模型平台中,JSON 已经被指定为对内,及对外,函数调用的,标准数据传输格式。

另外,我们可以看到 “向量数据” 在 AGI 通用人工智能发展中,得到了关键的应用,需要更有效的数据库处理能力。

向量数据的存放格式,天然就可以用 JSON 结构表示,非常适合通过文档型数据库处理。然而,单独使用向量数据,并不能解决业务的全景问题。在业务过程中,向量数据还必须与其他业务数据进行组合使用,才能发挥其价值。因此 SequoiaDB 也正在探索,为文档型数据库提供 「Vector Search 向量搜索」能力,为保存到 SequoiaDB 的向量数据,提供高效的查询能力,这一特性将在2024年与大家见面。

要注意的是,我们并不需要发展独立的向量数据库产品。而是基于深耕了12年的 JSON 文档型数据库底座技术为基础,进行向量查询能力的扩展,这将可以帮助企业,驱动实体世界的更多数据,和 AGI 通用人工智能进行有效链接,释放全量数据价值。

四大特性,释放全量数据价值


巨杉数据库基于JSON文档型底座对SequoiaDB 进行了全面升级,此次发布活动全面解读了SequoiaDB 的四大特性——高可用、安全、实时和易用。

高可用:文档型数据库处理的数据,包括了结构化的元数据、半结构化的标签数据,以及非结构化的对象数据。对于PB级大数据或上百节点规模的大集群,在面对重大灾难时的数据可靠性、数据一致性和系统可用性时都面临着巨大挑战。精细化容灾能有效地帮助客户实现针对这些数据的多中心容灾,从而提升整体系统的高可用和数据高可靠能力。

安全:巨杉数据库不仅在技术上通过国密算法硬件加速来平衡安全与性能,还提供了跨国内外不同芯片、不同操作系统的混合部署能力。这意味着巨杉数据库可以实现集群的异构部署,平滑地进行硬件资源的替换,对上层业务系统做到完全透明,保障业务连续性。

实时:巨杉数据库凭借JSON文档型数据结构的Schema灵活性,为企业提供了全量数据底座。DDL的实时变更、横向扩展能力,以及高性能的并发点查能力等都颠覆了传统ODS数据贴源层的界限,使得ODS能够服务于实时业务,满足对客实时数据查询和企业内部跨业务数据实时汇总的需求。

易用:巨杉数据库进一步增强了SAC的监控、告警和管理等功能。一站式的数据管理工具,极大地方便了DBA的管理工作,提高了问题排查的效率并简化了对系统的监控管理,从而为业务带来更高的稳定性和效率。

开放、开源共赴新篇章


新年伊始,巨杉数据库也将谱写崭新篇章。发布会介绍,巨杉数据库决定将在2024年Q1再次发布开源版本,不仅希望获得社区同仁的参与和监督,让产品未来发展更透明;同时也承担历史责任,希望通过开源的方式吸引更多合作伙伴,共同发展中国的分布式文档型数据库生态链,促进业务的快速迭代和开发效率的提升。近期,SequoiaDB新版本的源代码将通过Gitee、GitCode及GitHub再次开源。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    3750

    浏览量

    64217
  • 开源
    +关注

    关注

    3

    文章

    3210

    浏览量

    42288
收藏 人收藏

    评论

    相关推荐

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库
    的头像 发表于 10-31 13:21 72次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    数据库可以租用吗?完整租用流程来了

    数据库是可以租用的,这是一种合法且便捷的数据存储和管理方式。云数据库是云服务提供商提供的各种服务化的关系数据库(如RDS)、
    的头像 发表于 10-28 09:54 72次阅读

    鸿蒙开发接口数据管理:【@ohos.data.rdb (关系数据库)】

    关系数据库(Relational Database,RDB)是一种基于关系模型来管理数据数据库。关系
    的头像 发表于 06-10 18:35 1165次阅读

    阿里云与中兴通讯达成开源数据库合作

    近日,阿里云与中兴通讯宣布达成开源数据库领域的深度合作。中兴通讯正式加入PolarDB开源社区,并荣任首届理事会成员单位,这一举措标志着两大科技巨头在数据库领域的合作迈向新的高度。
    的头像 发表于 05-17 10:47 506次阅读

    阿里云与中兴通讯达成开源数据库合作,助推国产数据库发展

    据悉,阿里云与中兴通讯于5月16日公布了开源数据库合作事宜。中兴通讯正式宣布加入PolarDB开源社区,并担任首届理事会成员单位。
    的头像 发表于 05-16 16:34 393次阅读

    HarmonyOS开发案例:【搭建关系数据库】(4)

    本节将介绍如何调用关系数据库接口在本地搭建数据库,并读写相应的用户数据
    的头像 发表于 05-11 10:27 716次阅读
    HarmonyOS开发案例:【搭建关系<b class='flag-5'>型</b><b class='flag-5'>数据库</b>】(4)

    HarmonyOS开发案例:【关系数据库

    使用关系数据库的相关接口实现了对账单的增、删、改、查操作。
    的头像 发表于 04-22 14:58 612次阅读
    HarmonyOS开发案例:【关系<b class='flag-5'>型</b><b class='flag-5'>数据库</b>】

    选择 KV 数据库最重要的是什么?

    经常有客户提到 KV 数据库,但却偏偏“不要 Redis”。比如有个做安全威胁分析平台的客户,他们明确表示自己对可靠性要求非常高,需要的不是开源 Redis 这种内存缓存,而是 KV 数据库
    的头像 发表于 03-28 22:11 652次阅读
    选择 KV <b class='flag-5'>数据库</b>最重要的是什么?

    轻量级数据库有哪些类型

    轻量级数据库是指具有小巧、灵活、高效的特点,适用于小规模项目和嵌入式设备的数据库管理系统。下面是对轻量级数据库类型的详细介绍,包括关系数据库
    的头像 发表于 12-20 11:29 1142次阅读

    常见的存储Idea数据库的地方

    Idea的数据库被存储在许多不同的地方,取决于应用程序和使用的技术。下面将详细描述一些常见的存储Idea数据库的地方。 关系数据库(RDBMS):关系
    的头像 发表于 12-06 14:15 888次阅读

    redis是关系数据库

    Redis不是关系数据库,它是一种基于键值对的NoSQL数据库。在本文中,我将对Redis进行详细介绍,包括其特点、用途、常见命令和应用场景等。 Redis(REmote DIctionary
    的头像 发表于 12-05 10:32 1446次阅读

    NoSQL 数据库如何选型

    什么是NoSQL数据库?为什么要使用NoSQL数据库?键值数据库内存键值数据库文档数据库列式
    的头像 发表于 11-26 08:05 419次阅读
    NoSQL <b class='flag-5'>数据库</b>如何选型

    MySQL数据库基础知识

    MySQL 是一种开源的关系数据库管理系统,它是目前最流行的数据库之一。MySQL 提供了一种结构化的方法来管理大量的数据,并且具有高效、
    的头像 发表于 11-21 11:09 921次阅读

    数据库mysql基本增删改查

    MySQL是一种开源的关系数据库管理系统,常用于Web应用程序的数据存储和管理。通过使用MySQL,用户可以进行数据的增删改查操作,从而实
    的头像 发表于 11-16 16:35 1426次阅读

    数据库数据恢复——MongoDB数据库介绍和数据恢复案例

    MongoDB数据库文档数据存储,将文档存储在集合之中,不是像MySQL一样的关系
    的头像 发表于 11-08 15:04 828次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复——MongoDB<b class='flag-5'>数据库</b>介绍和<b class='flag-5'>数据</b>恢复案例