0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何利用闪存存储改善工作负载应用的性能和结果

Micron美光科技 2018-01-04 16:36 次阅读

我是美光科技的首席存储解决方案工程师Dennis Lattka。这个头衔的真正含义是,我要致力于确定如何利用闪存存储改善工作负载应用的性能和结果。为此,我决定对大数据生态系统中最常用的分布式消息传递系统之一的Apache Kafka进行评估,测试如何以最佳方式将美光固态存储应用于 Apache Kafka,以及将产生怎样的收益。

如何利用闪存存储改善工作负载应用的性能和结果

ApacheKafka介绍

通过对所涉及的各种资源(即 CPU、内存、磁盘活动和网络)进行监控,我发现主要的瓶颈因素依次为磁盘和网络。

一切取决于吞吐量

通过 Apache Kafka我发现,吞吐量决定一切。Kafka 开发人员在将写入数据直接传递到内核页面缓存方面做得非常出色,最大限度地减少了与 I/O 相关的问题。但是,无论这项开发功能如何出色,I/O 最终仍会转化为对 Kafka 分区(主题日志文件)的连续写入。因此所使用的磁盘的吞吐量越高,性能提升幅度就会越大。

在弄清楚了如何以最佳方式测试 Apache Kafka 以及使用哪些参数效果最好之后,我使用其内置的发生器测试脚本进行了一次简单的测试。3 个发生器共向一个 Kafka 代理发送了 6 亿条 100 字节的消息。

测试包括以下内容:(没有进行调整,仅采用默认配置。)

-总共产生了 600 个主题。

-为每个发生器分配了 200 个特定于该发生器的主题。

-每个发生器为每个主题创建了 100 万条消息。

-采用的消息大小为每条消息 100 字节。

使用的硬件

-每个服务器配备 1 个代理和 3 个发生器,采用相同配置。

-两个英特尔(R)至强(R) CPU E5-2690 v3 @ 2.60GHz 处理器

-384GB 内存

-两个固定在 ALB 模式的 10Gb 网卡。

使用 6TB 7.2k 硬盘、美光5100 ECO 1920GB 固态硬盘和美光9100 Pro 3.2TB NVMe硬盘进行了对比。

在每次测试中,Apache Kafka 代理分区都位于进行测试的硬盘上。

结果如下:

如何利用闪存存储改善工作负载应用的性能和结果

从上表可以看出,吞吐量越高,每秒的 I/O 就越高,这对于 Apache Kafka 意味着每秒可以处理更多数量的连续消息(显示单位为 MB/s)。

结论

在 Apache Kafka 配置中采用吞吐量更高的磁盘设备(如美光5100 系列固态硬盘或美光 NVMe 固态硬盘)将显著提高 Apache Kafka 的性能。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 闪存
    +关注

    关注

    16

    文章

    1776

    浏览量

    114804
  • 美光科技
    +关注

    关注

    0

    文章

    185

    浏览量

    22624

原文标题:美光专栏 | 利用闪存存储提升 Apache Kafka 的性能

文章出处:【微信号:gh_195c6bf0b140,微信公众号:Micron美光科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    闪存存储的VDI场景应用

    的VDI存储方案为高性能、高业务连续性以及高效找到了新的平衡。    华为VDI存储方案    华为OceanStor Dorado V3全闪存存储
    发表于 11-29 11:41

    基于闪存存储的Apache Kafka性能提升方法

    作者:Dennis Lattka我是美光科技的首席存储解决方案工程师Dennis Lattka。这个头衔的真正含义是,我要致力于确定如何利用闪存存储
    发表于 07-24 06:58

    如何通过虚拟远端采样改善负载调节的性能

    如何通过虚拟远端采样改善负载调节的性能?什么是VRS?那么VRS有多有效?
    发表于 04-22 06:17

    改善电源负载瞬态响应性能的设计方法

    改善电源负载瞬态响应性能的设计方法:电子电路一般都需要一个即使在负载电流发生瞬变时,输出电压也能维持在特定容差范围内的电压源,以确保电路的正常工作
    发表于 10-27 22:42 38次下载

    利用_NetApp_存储改善数据库环境

    利用_NetApp_存储改善数据库环境
    发表于 12-28 11:13 0次下载

    负载平衡云存储算法

    Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的
    发表于 01-14 15:56 0次下载

    浅析闪存如何推动当今的存储市场发展

    如今,企业数据存储市场正在快速增长,其市场核心是闪存闪存市场增长强劲,闪存正变得越来越不可或缺,以帮助数据中心运营商和存储厂商迎接下一代
    的头像 发表于 07-24 15:32 3350次阅读

    新的FlashSystem 9100存储系统是一款全闪存NVMe加速存储平台

    NVMe是一种用于访问高速存储介质的协议,旨在减少延迟并提高系统和应用程序性能。它针对全闪存存储系统进行了优化,旨在满足需要低延迟和高性能
    的头像 发表于 08-02 14:38 5107次阅读

    性能大比拼-真实世界工作负载vs实验室综合工作负载

         验证存储系统性能是否强大通常会选择各种测试跑分看结果,然而对比性能就可以发现真实世界的工作
    发表于 12-15 00:40 465次阅读

    简述闪存工作原理及存储和记录数据

    手机和固态硬盘中用来存储数据的NAND闪存问世于1987年,首次量产则是在4年之后。当年的东芝闪存部门如今已经成为新的KIOXIA铠侠,不过NAND闪存
    发表于 07-28 14:30 1.2w次阅读

    中国移动公布全闪存储产品集中采购中标结果,浪潮入选

    日前,中国移动公布2020年至2021年全闪存储产品集中采购中标结果,浪潮全闪存储入选,中标金额超3000万元。据悉,本次集采是电信运营商领域首次全闪存储产品集采,设置一个标段,包含高
    的头像 发表于 02-20 10:02 2350次阅读

    改善电源负载瞬态响应性能的​设计方法

    电子电路一般都需要一个即使在负载电流发生瞬变时,输出电压也能维持在特定容差范围内的电压源,以确保电路的正常工作。设计工程师必须在理解瞬态响应原理的基础上,利用正确的设计思路才能以较低的成本改善
    发表于 02-11 14:16 11次下载
    <b class='flag-5'>改善</b>电源<b class='flag-5'>负载</b>瞬态响应<b class='flag-5'>性能</b>的​设计方法

    云优化性能:使用基于闪存存储的I/O密集型工作负载

    电子发烧友网站提供《云优化性能:使用基于闪存存储的I/O密集型工作负载.pdf》资料免费下载
    发表于 08-28 10:04 0次下载
    云优化<b class='flag-5'>性能</b>:使用基于<b class='flag-5'>闪存</b>的<b class='flag-5'>存储</b>的I/O密集型<b class='flag-5'>工作</b><b class='flag-5'>负载</b>

    光纤通道与iSCSI相比在支持企业工作负载的全闪存存储阵列方面性能优势

    电子发烧友网站提供《光纤通道与iSCSI相比在支持企业工作负载的全闪存存储阵列方面性能优势.pdf》资料免费下载
    发表于 08-28 16:44 0次下载
    光纤通道与iSCSI相比在支持企业<b class='flag-5'>工作</b><b class='flag-5'>负载</b>的全<b class='flag-5'>闪存</b><b class='flag-5'>存储</b>阵列方面<b class='flag-5'>性能</b>优势

    HK-ATTO 光纤通道卡利用FC-NVMe 提升全闪存存储阵列性能

    通道HBA能够提供无与伦比的速度和效率,显著加快全球数据中心的全闪存阵列性能。原生光纤通道支持可确保数据密集型共享工作负载获得最佳性能,而F
    的头像 发表于 09-21 08:10 672次阅读
    HK-ATTO 光纤通道卡<b class='flag-5'>利用</b>FC-NVMe 提升全<b class='flag-5'>闪存</b><b class='flag-5'>存储</b>阵列<b class='flag-5'>性能</b>