0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何破解海量数据的存储之痛

454398 来源:中国工控网 作者:中国工控网 2021-01-04 16:56 次阅读

眼下,物联网、大数据、5G云计算AI等新一代信息技术的发展给市场带来巨大变革。无论是工业应用场景,还是消费场景,数据依然是万物互联事业的核心价值所在。

有预测表示,未来每个智能工厂每天约产生1TB数据,每辆自动驾驶汽车每天约产生4TB数据......,数据洪流正滚滚而来。这背后,海量数据的存储之痛如何破解?

时间过得真快,一转眼【科普小课堂】迎来2020年的最后一篇了。

新年新话题,对此小编特别围绕 5G、自动驾驶、新能源汽车以及机器人等新兴热门话题,为大家整理了相关应用场景当中的存储挑战和对策。

话不多说,快来一起涨知识吧~

#智能车载

★ 挑战:

随着技术的成熟,车内设施的功能不断扩展,复杂程度自然水涨船高,无论是在性能、功耗、安全性,还是可靠性方面,都对相应载存储装置提出了新挑战。

● 擦写次数:车载存储设备对于擦写次数等级要求较高,例如,原生SLC的要60000次左右;

● 宽温:车载应用往往面临户外环境、极端天气的考验,因此耐宽温技术十分必要。

● 合规性:车载存储产品还需要符合国际车载标准与兼容性要求(E-Mark规范),而且防尘放水保护、数据安全机制(防写入保护、快速擦除)、车电零组件可靠度认证(AEC – Q)、耐久性和纠错功能、数据断电保护技术等基本要求。

★ 对策:

● A+SLC技术:A+SLC技术是威刚专为相关需求开发,融合闪存韧体管理和闪存筛选技术,用户可以将使用MLC闪存的产品效能模拟至接近SLC(30000~40000次)的等级,有效提升效能与耐用度;

● 支持宽温和侧面填充技术:威刚工业级存储产品支持耐宽温(-40°C 至85°C)和侧面填充(Side Fill)技术,即使温差剧烈或有外力冲击,设备依然能维持稳定运作;

● 车载认证:威刚相关产品系列已获得全球最高等级的车载认证IATF 16949:2016,在产品设计、生产流程、产品质量上均已达到全球汽车工业统一标准;

● 多元化选择:根据不同国家或地区的法律要求,威刚科技还会部署对应的技术与标准,如SSD就已经成功应用于国内5G车载通讯设备中,还有多种容量大小可供选择,总有一款适合你!

针对车载系统应用,除了SSD产品系列以外,

microSD记忆卡也常应用于行车纪录仪、GPS追踪、车队管理,以及驾驶员行为监控等设备中;

携带式存储设备通常用于先进的驾驶辅助系统(ADAS)。

最后再“老王卖瓜”一下:除了用料与技术,威刚产品出厂前均需通过严格的兼容性及稳定度测试,以确保优异的质量、效能与耐用度。

#自动驾驶

★ 挑战:

自动驾驶应用中往往会装载大量的传感系统,来洞察路况等信息,同时,还需要针对环境进行高速实时运算,以对突发情况作出应对。

这对芯片的算力和运算效率都提出了不小的挑战,相应地也需要存储设备具备大容量、高带宽与低延迟的特点。

★ 对策:

● 内嵌PCIe接口:内嵌PCIe接口的自动驾驶车辆芯片与现今主流的PCIe Gen3x4接口的固态硬盘一致,这就解决了兼容性问题,方便后期升级与维护。

● 标准化接口介质:标准化的接口介质避免自动驾驶运算芯片与威刚科技SSD主控之间出现兼容性问题,有效减少异常行为的发生,进而满足自动驾驶应用对于安全性的需求。

● 定制化:丰俭由人,随着5G技术日益成熟以及自动驾驶需求的增加,以及未来汽车成本的降低,针对更适合车载应用的大容量、高速运算与稳定性的存储介质(如:PCIe SSD)和芯片也能实现定制化。

#新能源充电桩

★ 挑战:

充电桩设备一般处于户外或半户外温差变化较大的环境中,且需要维持长时间稳定运作。因此,存储装置需要具备:

● 耐宽温能力;

● 高耐用度与纠错能力;

● 远程运维:充电桩建设一般较为分散,而且相对于充电桩本体,充电桩的管理占桩企成本的很大一部分,因此远程运维十分必要。

★ 对策:

针对充电桩应用,很多企业选择“软硬结合”的方式。除了应用满足存储需求的硬件存储产品外,也会搭载相应的软件。

例如威刚科技就针对远程监测需求自主开发了SSD监测软件SSD Toolbox,用户可以及时掌控固态硬盘的状况,做好预维护,有效降低了维修成本。

#5G

★ 挑战:

5G时代,更高速度、更低延迟、更大容量让更多应用的实现成为可能,然而,庞杂且混乱的信息不仅会加重服务器的负荷,同时也十分考验存储产品的稳定性和耐久度。

而且,与5G密切相关的“边缘计算”(Edge Computing)和云存储技术需要更高性能的存储设备。

★ 对策

● “开源”:数据量上去了,首先肯定要考虑提升存储产品的内存。例如威刚就推出了服务器等级的内存,可以帮助设备节省电量,满足短时间内传输更多数据的5G应用。

● “节流”:除了内存的提升,有效降低数据量也是重要对策。威刚闪存全系列产品就通过提供故障区块管理(Bad Block Management)、耗损平均(Wear Leveling)、垃圾回收 (Garbage Collection)等功能,帮助有效管理闪存中的数据,腾出可用空间,提升传输效率,延长产品寿命。

总的来说,就首先对本地接收的海量信息进行筛查过滤,再结合算法,给予及时的判断,最终将处理好的信息定时上传到云,这就有效减少了服务器的负荷。

而且,无论是边缘计算或是云存储设备,都可以通过垃圾回收技术(Garbage Collection)来提高固态硬盘的效率,使存储设备尽可能地维持高效运作,随时有更多连续可用的区块空间,维持稳定高效的SSD数据写入性能。

#工业机器人

★ 挑战:

● 复杂环境

和其他工业级应用场景一样,替代人工,工业机器人往往也处于相对恶劣的工作环境中。因此温度、湿度、污染等因素是对应存储产品需要考虑在内的。

● 持续稳定

而且,作为重要的制造装备,工业机器人的稳定可靠性也相对消费应用等级要更高,这也对存储产品的可靠性、稳定性和使用寿命等提出了更高要求。

★ 对策

随着工业机器人的长足发展,目前相关存储产品已经较为成熟,威刚科技已经有较为成熟完备的解决方案,产品性能已经能够覆盖当前市场需求:

● 耐宽温(-40°C 至 85°)

● 抗硫化

● 断电保护(Power Loss Protection)

即便实在极端温度、高湿、高污染,以及供电不稳的环境,也能够确保机器人长时间稳定运作,提高耐用度,同时守护数据安全,可有效降低人工操作的风险。

而且,针对不同工业机器人的应用与需求,威刚科技除了拥有规格丰富多样的硬件产品外,亦有自主开发的SSD固件,可依照客户需求打造定制化的解决方案,提供全方位的服务,打通“最后一公里”。

新技术的快速发展会不断推动存储这类基础技术的更新,同时存储技术的更新和迭代也让新技术落地成为可能。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储技术
    +关注

    关注

    5

    文章

    734

    浏览量

    45796
  • SSD
    SSD
    +关注

    关注

    21

    文章

    2859

    浏览量

    117375
  • 工业机器人
    +关注

    关注

    91

    文章

    3361

    浏览量

    92630
  • 边缘计算
    +关注

    关注

    22

    文章

    3085

    浏览量

    48904
收藏 人收藏

    评论

    相关推荐

    浅谈加密芯片的一种破解方法和对应加密方案改进设计

    Key计算临时过程秘钥Key’,再使用临时过程秘钥Key’对数据做加解密和密文通讯,这样来做到每一颗芯片、每一次通讯的加密数据都是不一样,防止数据在通讯线路上被破解。 如上图,主MC
    发表于 12-20 15:31

    浅谈加密芯片的一种破解方法和加密方案改进设计

    Key计算临时过程秘钥Key’,再使用临时过程秘钥Key’对数据做加解密和密文通讯,这样来做到每一颗芯片、每一次通讯的加密数据都是不一样,防止数据在通讯线路上被破解。 如上图,主MC
    发表于 12-20 15:10

    群晖PB级高密度存储,满足海量数据存储、备份与存档

    很多大型企业,或是有海量数据存储需求的企业,对于PB级数据存储一直寻求运行稳定、安全高效且高性价比的解决方案。PB级
    的头像 发表于 12-07 18:08 524次阅读
    群晖PB级高密度<b class='flag-5'>存储</b>,满足<b class='flag-5'>海量</b><b class='flag-5'>数据</b><b class='flag-5'>存储</b>、备份与存档

    AI存储瓶颈破解之道,西部数据用前沿技术持续引领存储革命

    当前,人工智能已经成为推动企业创新和可持续发展的核心驱动力。随着生成式AI时代的到来,各种大模型应用层出不穷,人们在关注算力和算法的同时,构建先进的数据存储系统,满足海量数据交互、
    的头像 发表于 11-30 08:27 270次阅读

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 182次阅读
    WDS分布式<b class='flag-5'>存储</b>系统软件助力电信工程<b class='flag-5'>海量</b><b class='flag-5'>数据</b><b class='flag-5'>存储</b>项目

    海量数据处理需要多少RAM内存

    海量数据处理所需的RAM(随机存取存储器)内存量取决于多个因素,包括数据的具体规模、处理任务的复杂性、数据库管理系统的效率以及所使用软件的优
    的头像 发表于 11-11 09:56 289次阅读

    云计算在大数据分析中的应用

    云计算在大数据分析中的应用广泛且深入,它为用户提供了存储、计算、分析和预测的强大能力。以下是对云计算在大数据分析中应用的介绍: 一、存储和处理海量
    的头像 发表于 10-24 09:18 440次阅读

    分享一次海量数据平滑迁移实战

    背景 采购系统(BIP)在经历多年演进后,系统整体复杂度和数据量俨然已经极具规模,本文着重讨论海量数据的治理 存储现状:工程端实时订单库采用MySQL 5.5集群,其中主库配置为32C
    的头像 发表于 07-03 16:33 287次阅读
    分享一次<b class='flag-5'>海量</b><b class='flag-5'>数据</b>平滑迁移实战

    中科曙光海量数据存储研发团队荣获“天津市工人先锋号”荣誉

    近日,天津市总工会公布2024年“天津市五一劳动奖”和“工人先锋号”表彰,中科曙光海量数据存储研发团队荣获“天津市工人先锋号”荣誉。
    的头像 发表于 05-10 09:59 538次阅读

    有方数据存储产品服务新疆移动智算中心,推动数字生产力全面跃升

    近日,有方数据为新疆移动智算中心项目建设提供了NeoVast 2300分布式海量存储系统、NeoHyper 2500分布式全闪存存储产品及服务,保障智算中心的高效运行和
    的头像 发表于 04-28 14:10 556次阅读

    曙光存储携手华录集团发布“数据生命周期管理方案”

    随着AI应用的向深向实,海量数据已成为数字经济发展宝贵的“数字原油”。为了保障新质生产力提供充足的“数字原油”,数据存储是关键。
    的头像 发表于 04-14 10:09 430次阅读

    数据采集边缘网关解决企业数据采集点的关键

    网关 应运而生,成为解决企业数据采集点的关键所在。 一、企业背景与点分析 在当前信息化、智能化的时代背景下,许多企业面临着海量数据采集和
    的头像 发表于 04-07 13:56 384次阅读

    数据时代的存储革命:理解分布式存储系统

    在如今的大数据时代,全球数据量正在以指数型增长。据国际数据公司(IDC)预测,到2025年,全球数据量将增至175 ZB。这种海量
    的头像 发表于 03-07 15:40 424次阅读

    我国在光存储领域获重大突破 或将开启绿色海量光子存储新纪元

    我国在光存储领域获重大突破 或将开启绿色海量光子存储新纪元 据新华社的报道,中国科学院上海光学精密机械研究所与上海理工大学等合作,在超大容量超分辨三维光存储研究中取得突破性进展。可以说
    的头像 发表于 02-22 18:28 1776次阅读

    破解AI带来的数据存储挑战,西部数据是如何做的?

    ,到2026年底,数据要素应用广度和深度大幅拓展,在经济发展领域数据要素乘数效应得到显现;以ChatGPT为代表的大模型持续火热,在带动算力,尤其是智能算力需求爆发的同时,也带来了用于大模型训练与大模型推理的海量大数据的需求。
    的头像 发表于 02-01 09:39 339次阅读