0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

图数据库企业费马科技TuGraph通过LDBC-SNB官方测试和审计 达原纪录7.6倍

科技速递 来源:36氪 李念真-费马科技 作者:36氪 李念真-费马科 2020-08-03 14:41 次阅读

2020年7月30日,LDBC_SNB官方宣布完成了对费马科技TuGraph的测试和审计,并公布了测试结果。该结果刷新了世界纪录,达到原记录的7.6倍。

近年来,随着大数据技术的发展,社交网络、交易网络、知识图谱等图数据也得以大量积累,从而有力的推动了图数据的应用。目前,图数据已经被成功应用于包括金融风控、推荐工业流程控制、设备管理等许多领域。图数据库作为管理图数据的基础软件,也吸引了许多厂商的注意。

近年来,包括Oracle、IBM、微软在内的传统软件巨头及众多初创企业都大举进军图数据库领域。 北京费马科技有限公司是一家以研发图数据库和图计算软件为目标的初创企业。在此前36氪的报道中,我们注意到这家由多名清华博士创办的公司对图计算技术有深厚的积累。今天我们欣喜地看到,费马科技的图数据库TuGraph取得了突破,在国内企业中率先通过了国际基准官方审计测试并取得了国际领先的测试结果。 2020年7月30日,费马科技宣布,公司成为国内第一家通过图数据库国际标准基准测试程序LDBC-SNB官方审计测试的企业,同时打破了LDBC-SNB已经公布的最高纪录。在中大规模数据集(300GB)上,吞吐率达到之前最高纪录(由Virtuoso保持)的7.6倍。


图1. 审计测试成功的声明页截图(含认证审计员,LDBC SNB任务组主任和费马科技CTO的签名)

读者可以通过以下链接访问LDBC官网上的正式公布的测试结果,并下载测试报告、程序、说明文档以及软硬件信息等。 LDBC SNB官方网站:http://ldbcouncil.org/benchmarks/snb 测试报告下载:http://ldbcouncil.org/sites/default/files/LDBC_SNB_I_20200726_SF30-100-300_tugraph.pdf 关于LDBC和LDBC-SNB测试:

1.关联数据基准委员会(LDBC,Linked Data Benchmark Council)是由Oracle、Intel等软硬件巨头和主流图数据库厂商NeoTechnology和TigerGraph等组成的非赢利机构,是图(Graph)和RDF数据管理的基准指南制定者与测试结果发布机构。

2.社交网络基准测试(SNB,Social Network Benchmark)是由关联数据基准委员会(LDBC)开发的面向图数据库的基准测试(Benchmark)之一,分为交互式查询(Interactive)和商业智能(BI)两个场景。本次费马公司测试了其中的交互式查询场景,主要考察系统在并发情况下的更新和交互式查询吞吐率。

与很多厂商采用的基于单项测试的评测方式相比,LDBC-SNB(Interactive)更接近真实场景并对数据库系统的并发执行性能和事务处理能力进行了更具挑战性的评测。 测试详情 据公司创始人洪春涛介绍,本次测试采用LDBC SNB的30G(SF30)、100G(SF100)、300G(SF300)三个规模的数据集,其中300G数据集包含8亿结点53亿边及相关属性。查询操作由7类简单只读查询,14类复杂只读查询和8类事务类更新查询按LDBC SNB Interactive测试规范规定的比例组合并发执行,并以吞吐率为性能指标。可以看到,TuGraph在数据量增大时仍能保持较高的性能,体现了其对大规模数据的良好支撑能力。 下表为不同数据规模下的测试结果,吞吐率(OPS)表示每秒完成的操作次数。

表1. 不同数据规模SF30(30GB),SF100(100GB)和SF300(300GB)的测试结果

CTO朱晓伟表示,公司在测试环境准备、测试数据生成和导入、测试例程序的安装和执行、结果正确性的验证方面都严格遵守LDBC-SNB的规范。整个测试过程由LDBC认证的评估师在其租用的标准云系统上操作完成,并对测试代码进行了详细的评审。

整个测试环境和测试过程均完整披露并可在LDBC网站上公开下载,保证了测试结果的可信性和公正性。 LDBC-SNB Interactive的主要测试要求包括:基准程序会通过多个客户端并发地发送各类读写请求到服务端,每个请求都有相应的计划时间,数据库需要尽可能地使得所有操作都按计划正常进行;一旦某个操作晚于计划时间超过1秒以上则视作超时,如果超时比例大于5%则无法通过测试,对图数据库的更新和查询性能提出了很高的要求;查询分为7类简单查询和14类复杂查询,每类复杂查询在不同数据规模下根据其复杂度以不同的频率混合在一起,简单查询则穿插在这些复杂查询之间;8类更新操作中不少都涉及多个数据对象的更新,因此需要ACID事务的支持来保证操作的正确性,SNB规范要求隔离级别至少达到提交读(Read Committed),并在审计过程中对ACID支持进行了特别的测试。 值得注意的是,在本次测试中,TuGraph的超时比例为0%,且SNB实现了最高的隔离级别可串行化(Serializable),说明TuGraph在提供了高级别的事务隔离保证的同时仍然获得了低延迟和远远超过其它数据库的吞吐率。

CTO朱晓伟表示,相比同类型的图数据库产品,TuGraph可以支持更大的数据量,提供更快的响应,支持更多的并发查询,因此也更适应大数据时代。TuGraph在系统的设计目标上围绕实时图数据分析的特点展开:一方面,绝大部分请求是在最新数据上的只读查询,因此存储引擎需要面向读优化,并需要对其中一些查询操作采用并行的方式进行处理;另一方面,数据库需要在快速完成这些只读查询的同时处理源源不断的数据更新,而这些修改请求可能来自多个客户端,因此需要完善的事务支持,并需要尽可能地避免使用全局锁导致并发度的降低。

为此,TuGraph实现了多版本的存储使得只读事务可以无阻塞地进行,并且提供了乐观和悲观两种模式的读写事务,从而针对不同情形提供最优化的事务管理,在并发度和读写效率间取得较好的权衡;针对复杂的分析任务,提供了并行遍历和迭代式图计算的接口,通过多个线程的协同工作来保障任务不会超时并持续占用系统资源。除此之外,TuGraph提供了丰富的开发接口:不仅支持描述式的查询语言OpenCypher以方便用户更快地上手和开发原型,还提供了过程式的核心API让用户可以通过存储过程的方式对一些需要追求极致性能的场景进行加速;存储过程支持开发效率较高的Python和执行效率较高的C++,未来还将增加受众较广的Java作为开发语言;访问上同时支持RESTful和RPC两种方式供用户选择。这些丰富的选项使得用户可以在开发和生产环境上根据各自不同的场景和需求灵活地选择最适合的使用方式,在易用性和高效性两方面取得更好的平衡。

关于费马

根据36氪此前报道,费马科技成立于2016年5月,拥有图数据平台(TuGraph,曾用名LightGraph)、图分析平台(PandaGraph)两大产品。TuGraph的定位是高性能单机版图数据库,这也是目前市场占有率最高的产品类型。费马科技基于创始团队在图计算领域积累的经验以及领先的科研成果,研发出的TuGraph具有高性能、大数据量以及稳定易用的特点,因此被广大客户所信赖。目前,费马科技的产品已经被多个领域的头部客户所采用,包括京东数科、大型国有银行及商业银行等金融业客户,以及国家电网、中国商飞、西门子等工业部门用户。

(在此特别感谢 原创作者:李念真 ;本文图片来自:Pexels 正版图库)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8884

    浏览量

    137413
收藏 人收藏

    评论

    相关推荐

    数据库加密办法

    企业对于数据的重视程度不言而喻,也衍生出了数据=资产的概念。但是数据泄漏的事件频繁发生,为了保护数据资产,
    的头像 发表于 12-24 09:47 16次阅读

    数据库数据恢复—Mysql数据库表记录丢失的数据恢复流程

    Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分
    的头像 发表于 12-16 11:05 124次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—Mysql<b class='flag-5'>数据库</b>表记录丢失的<b class='flag-5'>数据</b>恢复流程

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    试图恢复数据库,发现有数个ndf文件大小变为0KB。 虽然NDF文件大小变为0KB,但是NDF文件在磁盘上还可能存在。可以尝试通过扫描&拼接数据库碎片来恢复NDF文件,然后修复数据库
    的头像 发表于 10-31 13:21 203次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—<b class='flag-5'>通过</b>拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    华为云图引擎服务GES震撼业界,刷新基准测试世界纪录

    9月26日,国际知名的关联数据基准委员会(LDBC)最新公布的社交网络测试交互式负载(SNB)成绩单上,华为云的引擎服务(GES)大放异彩
    的头像 发表于 09-27 14:28 478次阅读

    企业级数据库的配置和管理要求汇总

    企业级数据库配置需高性能硬件支撑,包括服务器、存储、网络及电源冗余,选用稳定DBMS与操作系统,注重索引与查询优化。管理上,强调数据安全,实施加密、访问控制与审计;确保高可用,配置容错机制与备份恢复;监控调优性能,规划容量与扩展
    的头像 发表于 09-27 10:50 195次阅读

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复
    的头像 发表于 09-20 11:46 340次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    软通动力数据库全栈服务,助力企业数据库体系全面升级

    。在企业节与"数博会"展区,软通动力受邀分享数据库专业服务全栈解决方案,并重点展示以全栈云服务为核心的数智化能力。 软通动力高级数据库服务专家刘江云在开放演讲中,分享了软通动力数据库
    的头像 发表于 09-05 15:30 322次阅读
    软通动力<b class='flag-5'>数据库</b>全栈服务,助力<b class='flag-5'>企业</b><b class='flag-5'>数据库</b>体系全面升级

    数据库安全审计系统:筑牢数据安全防线 提高数据资产安全

    审计手段。 国内专注于保密与非密领域的分级保护、等级保护、业务连续性安全和大数据安全产品解决方案与相关技术研究开发的领军企业——国联易安产品市场专家表示:目前,数据库安全技术主要包括
    的头像 发表于 07-17 13:38 727次阅读

    数据库安全审计系统:满足数据安全治理合规要求

    、等级保护、业务连续性安全和大数据安全产品解决方案与相关技术研究开发的领军企业——国联易安自主研发的数据库安全审计系统,可以帮助政府、企事业单位在重要会议和活动期间满足
    的头像 发表于 07-04 13:04 279次阅读

    搭载英伟GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

    在美国硅谷圣何塞召开的 NVIDIA GTC 大会上,全球领先的向量数据库公司 Zilliz 发布了 Milvus 2.4 版本。这是一款革命性的向量数据库系统,在业界首屈一指,它首次采用了英伟
    的头像 发表于 04-01 14:33 473次阅读
    搭载英伟<b class='flag-5'>达</b>GPU,全球领先的向量<b class='flag-5'>数据库</b>公司Zilliz发布Milvus2.4向量<b class='flag-5'>数据库</b>

    通过Modbus读写数据库中的数据

    用Modbus poll测试了,以下是智能网关的网络参数和测试截图: 通过智能网关的串口同样可以读写数据库。IGT-SER系列智能网关也支持作为Mobus主站,读取Modbus从站/
    发表于 03-14 13:44

    数据库数据恢复】Oracle数据库ASM实例无法挂载的数据恢复案例

    oracle数据库ASM磁盘组掉线,ASM实例不能挂载。数据库管理员尝试修复数据库,但是没有成功。
    的头像 发表于 02-01 17:39 519次阅读
    【<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复】Oracle<b class='flag-5'>数据库</b>ASM实例无法挂载的<b class='flag-5'>数据</b>恢复案例

    源代码审计怎么做?有哪些常用工具

    。 3、CodeQL:在 CodeQL 中,代码被视为数据,安全漏洞则被建模为可以对数据库执行的查询语句。 4、SonarQube:是一个用于代码质量管理的开源平台,用于管理源代码的质量。 在审计源代码
    发表于 01-17 09:35

    IZYTRONIQ测试软件介绍——管理测试设备数据库

    一款完整的用于管理和记录测试过程的数据库软件IZYTRONIQ
    的头像 发表于 01-11 11:11 407次阅读
    IZYTRONIQ<b class='flag-5'>测试</b>软件介绍——管理<b class='flag-5'>测试</b>设备<b class='flag-5'>数据库</b>

    Oracle数据库是什么 Oracle数据库的特点

    Oracle数据库系统具有高效率、可靠性好的特点,适用于各种规模的企业和组织。它支持大容量数据和高并发事务处理,能够满足各种复杂的业务需求。
    的头像 发表于 01-06 15:02 1013次阅读