0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA RDMA 网络方案赋能数据库业务持续发展

NVIDIA英伟达 来源:NVIDIA英伟达 作者:NVIDIA英伟达 2022-01-04 17:31 次阅读

云原生数据库 TDSQL-C (原 CynosDB,TDSQL for Cloud Native Database) 是腾讯云自研的新一代高性能高可用的企业级分布式云数据库, TDSQL-C 使用 NVIDIA UCX RDMA 优化了关键路径系统性能,实现了超百万级 QPS 的高吞吐,128TB 海量分布式智能存储,保障了数据安全可靠。

云原生数据库 TDSQL-C 实现高性能面临挑战

TDSQL-C 采用计算存储分离的架构,可以快速进行节点的扩容,节点的迁移,但其引入的网络开销对实现高性能提出了更高的挑战。因此需要采用软件优化与新硬件相结合,通过基于 SPDK 和 UCX RDMA 的零拷贝技术,减少了操作系统上下文切换以及数据在用户态和内核态之间拷贝引起的性能损耗,进一步优化关键路径的系统性能,降低请求延迟。

传统的 TCP/IP 网络,存在以下几个缺点:应用的 buffer 发送到对端,需要经过多次拷贝,对端收到数据到接收到应用的接收 buffer,也需要多次拷贝;应用的 buffer 拷贝到 TCP/IP 的 buffer,需要从用户态进入到内核态,会有上下文切换;网络协议栈完全由 CPU 执行,耗费 CPU。

NVIDIA RDMA 网络方案+ConnectX 系列网卡

“软硬” 兼施,赋能数据库业务持续发展

充分利用软硬件资源做系统级别 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延时网络基础。以底层高性能硬件能力作为支柱,给腾讯云数据库业务发展提供持续不断的系统源动力。

根据业务部门需求和服务器新产品导入团队多年来在 RDMA 技术上的沉淀, 推荐使用搭载 NVIDIA ConnectX 系列网卡的服务器,使用 NVIDIA RDMA 网络方案来对数据库场景进行专项优化,充分利用 RDMA 天然的性能优势:

RDMA 技术是用户空间进程绕过内核直接调用 RDMA 网卡,实现和远端进程的高效快速通讯。RDMA 伴生于 InfiniBand 网络技术,由 IBTA 组织对其进行标准化定义和维护。RDMA 技术优势可以解决 TCP 传输方式中的各种缺点:

整个数据传输过程内存零拷贝。

网络传输完全卸载到网卡硬件,不占用 CPU 资源。

使用 RDMA 技术可以 100% 利用网络带宽。

整个数据传输过程由硬件完成,降低了系统延时。

NVIDIA RDMA 网络方案

助力远端计算和存储网络优化

NVIDIA RDMA 网络方案搭在硬件上使远端计算和存储网络的优化效果达到最优。

在 RDMA 与 TCP 性能的关键指标的对比测试中,RDMA 体现了其优势。例如从oplog msg 性能数据上看,RDMA 测延迟比 TCP 降低 71.7%,吞吐提高 43.2%;在 page 性能数据方面(page 大小为16KB),RDMA 测延迟比 TCP 降低 70.3%,吞吐提高 52.3%。

腾讯云数据库是腾讯服务的基础架构,网络的延迟和带宽对于性能至关重要, RDMA 技术的 Kernel Bypass 和 CPU Offload 可以带来极低的延迟和极高的带宽。在 NVIDIA 网络产品上部署的推荐系统将为腾讯用户提供业界一流的性能,使用户充分享受 RDMA 带来的技术红利。

—— 腾讯云数据库TDSQL-C负责人

李志阳

NVIDIA 作为 RDMA 技术的推动者和领跑者,很高兴看到这项技术在腾讯得到越来越广泛的应用,并正在从传统的 HPC/AI 业务拓展到高性能存储和数据库领域。UCX 的使用大幅度提高了 RDMA 应用的开发效率和吞吐率,并且使得 RoCE 跟客户应用能迅速整合,从而帮助客户更快走向市场,并提供差异化的云产品和服务。

—— NVIDIA 副总裁

Vadim Balahovski

原文标题:NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4949

    浏览量

    102850
  • 服务器
    +关注

    关注

    12

    文章

    9039

    浏览量

    85230
  • 数据库
    +关注

    关注

    7

    文章

    3770

    浏览量

    64298

原文标题:NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    数据库数据恢复—通过拼接数据库碎片恢复SQLserver数据库

    一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库
    的头像 发表于 10-31 13:21 151次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—通过拼接<b class='flag-5'>数据库</b>碎片恢复SQLserver<b class='flag-5'>数据库</b>

    智慧城市在可持续发展中的应用

    智慧城市在可持续发展中的应用体现在多个方面,它利用大数据、人工智能、物联网等先进技术,实现城市资源的高效利用、环境的保护、社会的包容性和经济的可持续发展。 一、经济可持续发展 智慧城市
    的头像 发表于 10-24 15:25 533次阅读

    华宝新荣获SEAL Awards可持续发展产品奖

    近日,SEAL Awards 2024年度获奖名单正式揭晓,继2023年获得此荣誉后,全球绿色新能源领军企业华宝新再度斩获本届“可持续发展产品奖”。这非凡荣誉的延续性不仅彰显公司在可持续发展领域的卓越表现,更是对其不懈努力和
    的头像 发表于 09-26 10:56 400次阅读

    数据库数据恢复—SQL Server数据库出现823错误的数据恢复案例

    SQL Server数据库故障: SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库
    的头像 发表于 09-20 11:46 300次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>出现823错误的<b class='flag-5'>数据</b>恢复案例

    电科金仓:数智未来,国产数据库大有可为

    几十年来积累的技术底蕴,加之在众多行业中的实践验证与落地,为金仓数据库持续发展奠定了坚实的基础。同时,金仓还以其专业的服务体系、完善的生态构建以及对人才发展的不懈追求,构筑起了一道坚实的竞争壁垒。金仓
    的头像 发表于 09-03 13:58 228次阅读
    电科金仓:数智未来,国产<b class='flag-5'>数据库</b>大有可为

    小米试点业务系统上线OceanBase,数据库性能飞跃新高度

    在科技日新月异的今天,小米集团作为全球领先的智能设备制造商,其业务的快速发展对底层技术架构提出了前所未有的挑战。特别是在数据库领域,面对海量数据处理、高并发访问以及严苛的故障应对需求,
    的头像 发表于 07-03 15:39 637次阅读

    双向:AI与数据库的修行之道

    虽然硬件性能的提升为数据库处理海量数据提供了基础,但要真正发挥这些算力,需要对数据库内核进行深度优化。云和恩墨通过改进数据库内核,使之更好地适应现代硬件,如多核CPU、大内存和高速IO
    的头像 发表于 06-28 23:07 452次阅读
    双向<b class='flag-5'>赋</b><b class='flag-5'>能</b>:AI与<b class='flag-5'>数据库</b>的修行之道

    隆基绿发布2023年可持续发展报告 可持续发展融入战略管理

    西安2024年6月5日 /美通社/ -- 5月31日,在隆基绿第三个"可持续发展周"上,隆基绿正式发布《2023年可持续发展报告》。报告显示截至2023年底,隆基光伏硅片累计出货量
    的头像 发表于 06-05 15:01 382次阅读

    海辰储携手“中非社区可持续发展行动网络”,共筑可持续未来

    近期,联合国全球契约组织在北京联合国大楼举办“中非社区可持续发展行动网络”启动仪式。
    的头像 发表于 05-11 11:01 478次阅读
    海辰储<b class='flag-5'>能</b>携手“中非社区可<b class='flag-5'>持续发展</b>行动<b class='flag-5'>网络</b>”,共筑可<b class='flag-5'>持续</b>未来

    选择 KV 数据库最重要的是什么?

    最后我也没问清楚他们业务存啥(推测是这块业务数据比较机密),但确实业务本身对可靠性要求非常高,开源 Redis 自身的可靠性无法满足他们的要求,最终该用户选择使用 GaussDB(fo
    的头像 发表于 03-28 22:11 679次阅读
    选择 KV <b class='flag-5'>数据库</b>最重要的是什么?

    数据库数据恢复】Oracle数据库ASM实例无法挂载的数据恢复案例

    oracle数据库ASM磁盘组掉线,ASM实例不能挂载。数据库管理员尝试修复数据库,但是没有成功。
    的头像 发表于 02-01 17:39 490次阅读
    【<b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复】Oracle<b class='flag-5'>数据库</b>ASM实例无法挂载的<b class='flag-5'>数据</b>恢复案例

    Oracle数据库是什么 Oracle数据库的特点

    Oracle数据库系统具有高效率、可靠性好的特点,适用于各种规模的企业和组织。它支持大容量数据和高并发事务处理,能够满足各种复杂的业务需求。
    的头像 发表于 01-06 15:02 987次阅读

    英飞凌入选全球最具可持续发展能力的企业

    相关业务的英飞凌科技管理委员会成员、首席数字化转型官ElkeReichart负责可持续发展相关业务的英飞凌科技管理委员会成员、首席数字化转型官ElkeReichart表示
    的头像 发表于 12-22 08:14 472次阅读
    英飞凌入选全球最具可<b class='flag-5'>持续发展</b>能力的企业

    华为存储携手优炫软件,共促中国多主数据库加速发展

    可靠、高性能共享存储多写多读集群数据库(以下简称“多主数据库”)解决方案,加速中国多主数据库产业发展步伐。
    的头像 发表于 12-11 09:12 678次阅读

    关于JSON数据库

    如何理解JSON数据库?作为NoSQL数据库的一种类型,JSON数据库有哪些优势呢?JSON数据库如何运作,它为应用程序开发者带来了哪些价值呢?
    的头像 发表于 12-06 13:46 846次阅读
    关于JSON<b class='flag-5'>数据库</b>