0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

随着数据的大规模扩展,寻找有效的传输方式

douyin8 来源:douyin8 作者:douyin8 2022-07-21 10:20 次阅读

用于分析、机器学习和其他类型分析的数据正在以越来越快的速度获取。但是 Tbytes(甚至 Zbytes)的数据需要一个有用的传输系统,虽然我们已经从通过单个管道移动数据过渡到基于云的服务,但我们在实践中面临着扩展的需求。物联网设备正变得越来越普遍,我们需要考虑如何在突然面临需求之前传输指数级的数据量。

实时大数据分析等应用程序需要对所有数据进行高带宽访问。由于带宽和容量,标准硬件解决方案可能被证明是不够的。因此,为了解决成本(尤其是在扩大规模时)、带宽、容量和长期可靠性,目前有两种有效的选择。第一个是高速互联网上的云计算,第二个是具有高速光纤连接的本地化便携式存储阵列。

云解决方案

云解决方案的优势包括将成本和增长的麻烦转移到云提供商身上。本地机器可以卸载到通常可靠的云系统。具有冗余和历史备份的企业级存储阵列通常可从许多云提供商处获得,这些云提供商通过部署多个分散数据中心网络提供额外的可靠性和性能。随着全球数据中心生态系统不断壮大,维护着海量虚拟云,云解决方案提供了一种日益强大和便捷的方式来存储和传输由物联网、自动驾驶汽车和其他互联智能设备等新技术和应用程序生成的大量数据。

但是,虽然标准 Internet 连接提供了方便的访问,但它也限制了 Internet 连接速度的带宽。在放弃维护系统的麻烦的同时,您也放弃了对云机器性能的控制,仅限于提供的内容。

本地化便携式解决方案

借助本地化的便携式解决方案,可以定制性能以满足应用需求,提供极大的灵活性。计算负载仍然可以卸载,这次从客户端机器转移到服务器上,您可以设置安全协议,以便只有本地客户端可以访问系统。本地化系统的主要优点是使用高速光纤网络适配器的连接速度要高得多。以太网上的 10Gb/s 连接已经开始打入消费级市场,并且通过商业级 SFP 连接和光纤互连可以获得更高的速度。与互联网上 96Mbps/32Mbps 的全国平均水平相比,这提供了明显更快的速度。预计物联网将产生 Zettabytes随着利用这些海量数据集的机器学习等新技术的增长和发展,这种速度可能不足以满足某些应用程序的需求。除了增加的总带宽外,本地化解决方案还提供更低的延迟,并且可以使需要低响应时间的应用程序受益,例如高分辨率镜头的视频编辑和合成/渲染好莱坞级特效序列。为了提高速度和响应能力,本地化存储系统可以使用固态存储驱动器作为高速数据缓冲区进行定制,或用于替代传统硬盘驱动器存储介质作为主要存储单元。

借助本地化单元,整个存储系统的传输和部署可以像使用 CP Technologies 的便携式存储阵列一样简单地将其运送到所需位置并连接起来. 这些类型的存储设备为将数百 TB 的数据迁移到云提供商提供了一种方便有效的方法。数据可以使用高速光纤连接在最短的时间内传输并存储在系统上,然后手动携带或运送到云提供商的数据中心。使用此类本地化解决方案,与通过 Internet 发送所有数据相比,您可以通过在新位置重新部署来显着更快地传输 TB 数据。而且,如果您需要 Internet 可访问性,可以将本地化解决方案配置为可访问 Internet。此外,通过使用独立的便携式存储单元,您还可以在从站点到站点传输数据时保持高度的数据安全性,

本地化存储的主要缺点是它不如分散式云存储强大。如果发生洪水或其他天灾,而您没有额外的场外机器,那么您可能会失去一切。容量和增长将受到本地机器的大小和数量的限制。虽然本地化解决方案往往具有很高的成本效益,但在扩展现有存储解决方案时需要考虑额外的空间、电力和冷却成本。

无论哪种解决方案最适合您,都需要考虑创建数据冗余。分散式云可以通过将数据分散到多个数据中心来减轻灾难的影响。本地系统应与随附的异地存储解决方案一起使用,以确保数据系统的安全性与其地理位置分离。在将机器从站点转移到站点时,采用 CP Tech 制造的坚固设计可确保数据在传输过程中保持安全。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7085

    浏览量

    89244
  • 物联网
    +关注

    关注

    2910

    文章

    44781

    浏览量

    374855
收藏 人收藏

    评论

    相关推荐

    什么是编码方式数据质量和传输需求

    编码方式数据质量和传输需求是信息技术和数据传输中非常重要的概念,它们各自具有特定的含义和影响。下面将分别对这三个因素进行详细介绍: 一、编码方式
    的头像 发表于 01-10 13:21 51次阅读

    PCIe数据传输协议详解

    、网卡和声卡等,以实现高效的数据传输。以下是对PCIe数据传输协议的介绍: 一、PCIe协议的基本概念 PCIe协议定义了一系列规范和要求,以实现在主机系统和外围设备之间高效、可靠地进行数据通信。它采用了高速串行点对点双通道高带
    的头像 发表于 11-26 16:12 1292次阅读

    浅谈适用于大规模充电场站的深度强化学习有序充电策略

    随着新能源汽车销量的快速增长,大规模充电场站的建设需求日益凸显。据乘联会销量数据显示,2017年中国新能源乘用车销量达到了57.6万台,位列全球,且保持着较高的增长率。中国汽车工业协会预计,2018年新能源汽车销量将超过100万
    的头像 发表于 11-13 10:55 283次阅读
    浅谈适用于<b class='flag-5'>大规模</b>充电场站的深度强化学习有序充电策略

    云平台在大规模设备管理和数据分析中的作用

    数据的高效处理、智能分析及设备的精细化管理,进而推动各行各业的智能化升级。 1. 大规模设备管理的高效与灵活性 随着物联网(IoT)技术的蓬勃发展,数以亿计的智能设备被连接至网络,产生了海量的
    的头像 发表于 09-19 17:22 305次阅读
    云平台在<b class='flag-5'>大规模</b>设备管理和<b class='flag-5'>数据</b>分析中的作用

    谷歌正在考虑在越南建设超大规模数据中心

    据可靠消息透露,Alphabet集团旗下的谷歌公司正积极筹划在越南南部的经济枢纽胡志明市周边建设一座“超大规模数据中心。此举标志着美国科技巨头首次在东南亚国家进行此类重大投资,尽管具体的投资金额尚待揭晓。
    的头像 发表于 08-30 14:55 646次阅读

    大规模语言模型:从理论到实践】- 阅读体验

    。 注意力机制可能会对输入数据中的噪声敏感。如果输入数据包含大量的噪声或错误,那么注意力机制可能会将注意力集中在这些噪声上,从而影响模型的性能。 注意力机制在模型中的工作方式是相对复杂的,这使得它难以被
    发表于 06-07 14:44

    专用集成电路都是大规模的吗为什么呢

    的集成度和性能优势。然而,并非所有专用集成电路都是大规模的,因为集成度的大小取决于设计和制造的要求。 在探讨专用集成电路是否大规模之前,我们首先需要了解什么是大规模集成电路(Very Large Scale Integratio
    的头像 发表于 04-21 09:15 551次阅读

    名单公布!【书籍评测活动NO.30】大规模语言模型:从理论到实践

    ,在大模型实践和理论研究的过程中,历时8个月完成 《大规模语言模型:从理论到实践》 一书的撰写。希望这本书能够帮助读者快速入门大模型的研究和应用,并解决相关技术问题。 本书一经上市,便摘得京东新书日
    发表于 03-11 15:16

    大规模数据中心网络演进的七大主流趋势

    自动驾驶已经变成可能,大规模应用只是一个时间问题。大规模网络运维的自动化也必然是业界的趋势,要达到自动驾驶或自动化运维都需要两个共同的条件:一是有足够有效数据,二是要有对
    发表于 03-11 11:21 507次阅读

    大规模数据中心采用三星FDP SSD降低存储成本

    主机数据放置技术一直是超大规模数据中心关注的话题,因为它影响所部署的SSD的总体拥有成本(TCO)。
    的头像 发表于 03-07 15:39 2042次阅读
    超<b class='flag-5'>大规模数据</b>中心采用三星FDP SSD降低存储成本

    万兆电口模块:满足大规模数据传输需求的解决方案

    万兆电口模块具有高速传输、兼容性好、可靠性高等优势,可以满足大规模数据传输需求,推动网络技术发展。
    的头像 发表于 02-26 16:27 643次阅读

    万兆电口模块10GBase-T:满足大规模数据传输需求的解决方案

    万兆电口模块10GBase-T应用在数据中心、云计算、视频会议、高性能计算和人工智能等领域中,万兆电口模块的应用将进一步推动大规模数据传输技术的发展和创新。随着技术的不断进步和应用需求的不断增长,万兆电口模块有望在未来发挥更加重
    的头像 发表于 01-29 11:46 611次阅读

    韩国开发出大规模人工神经网络硬件技术

    借助hBN这种二维材料的优质性能,该团队成功地实现了高集成度与超低功耗。他们精心设计的人工神经元及突触器件,在简化结构并提高网络可扩展性的同时,更具优越的处理能力。此举将为大规模神经网络硬件设备的研发打开新的大门。
    的头像 发表于 01-26 09:55 616次阅读
    韩国开发出<b class='flag-5'>大规模</b>人工神经网络硬件技术

    大规模储能-碱性水系钠离子电池开发

    当前,对大规模储能的需求不断增长,推动了具有安全性、环保性和低成本的电池系统的开发。
    的头像 发表于 01-24 09:29 1294次阅读
    <b class='flag-5'>大规模</b>储能-碱性水系钠离子电池开发

    为什么有些信号采用差分传输方式,不采用单端传输方式

    为什么有些信号采用差分传输方式,不采用单端传输方式? 差分传输方式是一种常用的信号
    的头像 发表于 01-17 11:32 714次阅读