为什么互联制造数据无法捕获和处理来自联网设备的PB级物联网数据流？

近年来，5G和物联网不断发展，智能终端设备不断普及，网络边缘侧数据呈现爆发式增长，这些因素极大地推动了边缘计算的发展。对于工业互联网来说，5G边缘计算技术可以解决数据时延、带宽、安全性等问题，满足并加快整体建设需求。制造业也在积极向智能化、互联化转型，“互联制造”已成为制造企业发展浪潮中新的转折点和历史机遇。

然而，随着制造业的智能化发展，越来越多的数据类型也随之显现。根据IDC的一份报告显示，实时数据的增长速度比静态数据加快了50%，流数据分析的复合年增长率预计将达到28%。这使得专用于静态历史数据解决方案、在本地或离散云中运行的传统数据平台无法满足当前制造企业进行实时分析的需求。流数据之所以出现如此快速的增长，也是因为其可以实现实时分析，以及更重要的自主决策。

实现传统制造业向互联制造转型的因素包括：针对特定用途量身定制的经济型过程传感器，可重复进行自主决策的强大边缘计算设备，进行分析和存储的云计算，以及即将到来的5G应用。5G将打开一条数据“高速公路”，使制造过程摆脱连接线的束缚；但流数据的这些优点也让管理各种制造企业业务流程中的庞大数据量，以及多样化数据结构等方面变得更具挑战性。

传统互联制造数据管理解决方案面临挑战

随着新数据源的快速发展和数据规模的上升，许多制造企业面临着解决数字化复杂性的压力。企业机构在互联制造数据管理方面的主要挑战包括：

·数据管理成本：传统的数据管理机制成本高昂，并且无法捕获和处理来自联网设备的PB级物联网数据流。如今，企业机构需要一个更灵活且可扩展的数据管理分析平台，从而能够以较低的成本轻松地采集、存储和管理流数据。

·处理物联网数据的数量和种类：为了实现流程监控和优化、预测性维护以及新兴的物联网应用，信息架构师需要一个平台来处理各类数据结构和方案，包括每秒温度、压力和振动读数等，以通过各种受支持的驱动程序和协议从边缘处理纯非结构化数据（例如图像、视频、文本、频谱数据），以及热成像、声音信号等其他形式的数据。

·管理实时数据的复杂性：为了推动连续过程监控、产量优化或预测性维护，数据管理平台需要对流数据进行实时分析，并有效采集、存储和处理这些数据，以便及时提供洞察，采取行动。

·解放孤岛中的数据：由于价值链中存在特殊流程（创新平台、QMS、MES等），因此需要针对每个独立的孤岛解决方案定制不同的数据源和数据管理平台。鉴于跨企业数据仅能提供一小部分洞察力，这些窄点解决方案会限制企业价值；而且重复的孤岛解决方案会分割业务，从而限制合作机会。因此，该平台必须能够将价值链中各点的流数据与ERP、MES和QMS来源相结合，并形成可执行的洞察。

Cloudera DataFlow从边缘获得洞察

鉴于制造业本身和物联网数据的复杂性和多样性，制造企业十分重视从边缘到人工智能获取清晰可见的洞察力。因此，在一开始就应将数据放入数据湖和企业数据平台中。

Cloudera Data Platform通过Cloudera DataFlow（CDF）中的技术组合来应对这些挑战。CDF可提供以下解决方案：

·管理、控制和监视所有数据流和物联网计划边缘的能力。Cloudera EdgeManagement（CEM）由边缘代理和边缘管理中心组成，通过管理、控制和监视边缘代理，以收集边缘设备中的数据并将情报发回。

·获取和管理实时流数据的能力。Cloudera Flow Management（CFM）是由Apache NiFi支撑的无需编码的一种数据获取和管理解决方案。通过NiFi直观的图形界面和300余个处理器，CFM可为企业提供具有高度可扩展性的数据移动、转换和管理功能。

·通过Apache Kafka实现的高级消息传递和流处理功能。Cloudera Stream Processing（CSP）使用Apache Kafka提供流数据的高级消息传递、实时处理和分析，以及Cloudera Streams Management支持的管理和监视功能。

·Cloudera Streaming Analytics（CSA）提供的实时洞察。在Apache Flink的支持下，CSA提供低延迟的处理能力，可从边缘对流数据进行实时可行的智能处理。
责任编辑:pj