直播精彩回顾（四）| 虹科Flow——数据管道的可观察性解决方案

本期虹科云课堂直播课程即将接近尾声。3月10日，“【虹科云课堂】虹科Flow——数据管道的可观察性解决方案”直播课程圆满结束，感谢大家的观看与支持。虹小科为大家整理了课后笔记，请查收

导语

虹科云课堂

前面两节直播给大家介绍过我们的pulse和torch，pulse是一款计算性能监控产品，可以帮助企业消除计划外停机，降低基础设施成本并提高效率，torch是管理数据质量的一款产品，它超越数据监控，能对静态数据、动态数据进行自动分类、编目和管理业务规则，跨数据湖、存储库监控企业数据，助力企业数字化转型。那么今天给大家介绍一款产品，Flow，它是关于数据管道的可观察性解决方案。

那么它如何帮助企业优化数据管道性能呢？我们先不说答案，把文章看完，你就明白了，最后我们会总结这个问题的答案。

本文围绕3部分展开

虹科云课堂

1、Flow产品介绍

2、Flow介绍功能详解

（数据可观察性相关概念可见之前直播）

01

F产品介绍

虹科云课堂

这里列举了一些企业平时可能会遇到的业务挑战，首先是不可靠的数据管道和爆炸式增长的成本，为了满足企业内部数据供应的持续爆炸式增长，供应商发布了各种工具，使数据管道的创建比以往任何时候都更加容易。因此，现代数据架构迅速膨胀，在短时间内变得越来越大、越来越复杂。新形式的数据管道也更容易出现问题。例如，如果出现硬件或网络故障，实时事件流很容易丢失数据。第二个数据工程师依赖于耗时的手动数据操作和故障排除过程，花费太多时间查找和修复错误，陷入与数据准备和管道相关的手动重复流程。

第三个是数据和业务策略的制定不准确，数据管道中断、数据损坏和其他问题可能会在更多地方以更高的速度发生。追踪根本原因和修复问题可能非常耗时。这让数据工程师没有时间来扩展或优化业务线要求的更具战略性的数据计划。还有就是在典型的大型企业中，数据处理的纪律性不足。由于缺乏对可用数据的可见性和理解，企业数据在大多数关键决策过程中都没有得到有效利用。

最后一个是数据投资的回报较低，如今大多数公司都运行着庞大的混合基础设施。他们将数据存储在本地、托管服务器和 SaaS 云中。他们使用老式 SQL 关系数据库、新式 NoSQL 键值存储和尖端云数据仓库（如 Snowflake）提供数据。使用 Kafka 流式传输实时数据，并从 Databricks 湖库中提供 ML 应用程序，所有这些都以成为数据驱动的数字企业的名义。然而，他们部署的云原生数据应用程序越先进，其基础设施就越复杂。云成本是动态的，使预测变得不稳定，基于利用率的定价，也使得预算比服务器等资本投资或托管虚拟机典型的固定月费更难。近乎无限的可扩展性和即用即付定价相结合，使云成本高度波动。以至于现在管理 IT 成本和最大限度地提高投资回报率非常困难。

那么我们应该如何才能利用好数据做出正确、并且控制我们的成本和回报率的决策呢，可以试试利用Flow帮助我们。

Flow 是一种软件开发工具包，可让团队观察数据管道的健康状况和性能。Flow 通过集成和监控现有工作流平台的性能，帮助数据工程师解决管道问题并优化资源。该工具利用开源工作流平台，如 Apache Airflow，并使用 API、数据源和转换工具来构建自定义工作流。

数据质量问题和管道故障的一个主要原因是这些管道内的转换。今天的大多数数据架构都是不透明的——你无法知道里面发生了什么。转型正在发生，但当事情不如预期时，数据工程师并没有太多的背景来解释原因。

太多的 DataOps 团队花费太多时间尝试在没有上下文的情况下诊断问题。而且，如果您遵循您的第一直觉并使用软件应用程序性能管理工具 (APM) 来监控 DataOps 管道，那么它很少会奏效。

管道测试框架允许数据工程师测试二进制语句。例如，列中的所有值是否唯一，或者模式是否匹配某个表达式。当测试失败时，数据被标记为“坏”。有了这些信息，数据工程团队可以诊断出质量较差的数据并采取必要的步骤来解决问题。在管道中的不同步骤重复测试，这使数据工程师可以很容易地清楚地看到数据在管道的哪个阶段/层破坏，并找到最合适的人来解决问题。

Flow通过提供对底层数据管道的全面可见性，帮助企业优化业务流程性能、降低成本并最大限度地提高数据投资回报。由于它预先与 Pulse 和 Torch 集成，因此数据团队不仅可以评估数据管道的完整性，还可以通过统一的用户界面发现影响性能的底层数据处理或数据质量问题。

数据管道可观察性研究支持分析的数据管道的性能、可用性和利用率。数据工程师使用数据管道可观察性产品来优化数据交付以及支持管道的容器、存储、计算和网络资源的性能。

Flow可以帮助企业追踪数据的生命周期，并且能够监控管道中的数据交互、数据模式和业务事件等等。它有以下三个特点，首先他能提高数据的可见性，跨混合数据湖和仓库监控数据，以确保质量和可靠性。第二个特点是它能提高管道效率和可靠性，在问题影响性能之前预测并解决问题。最后一个特点是它使数据管道与业务目标保持一致，通过识别和消除瓶颈来降低数据管道成本，并针对资源、成本和时间等方面去优化数据管道性能，并且进行自动化操作，以更少的资源管理数以千计的数据管道。

接下来看一下Flow的应用场景，第一个是电信、金融服务、能源、物联网和电子商务行业以及任何依赖大量静止数据和动态数据以满足运营和分析需求的企业，第二个是使用 Airflow, Amazon Kinesis, Amazon Redshift, Amazon Web Services-Kafka, Apache HBase, Apache Spark的公司都可以考虑采用flow来检测我们的数据管道并确保跨混合数据湖和仓库的数据可靠性。

今天，数据工程师、分析师和数据科学家花费数小时和数天来调试数据管道问题。数据精度错误也可能被忽视，在解释仪表板时需要人工判断。错过的 SLA 可能会导致难以发现和修复根本原因。现有的监控系统可以帮助解决黑白问题，即基于症状的警报适用于明确定义的问题，例如对失败的作业或零行表的警报。大多数现实世界的问题都属于灰色区域，现有的监控解决方案是不够的，因为无法预测每一种故障模式或系统可能出现异常行为的每一种可能方式。例如，数据仓库超载导致作业完成延迟——依赖作业错误地开始处理数据，导致结果稍有不正确。任何监控事件都不会生成警报，但最终结果是数据不准确。

可观察性不仅仅是对监控的重新命名。可观察性侧重于提供对系统行为的高度精细的洞察以及丰富的上下文。可观察性侧重于分布式跟踪以生成用于调试的结构化事件。

Flow功能详解

虹科云课堂

02

我们希望帮助组织建成可靠的数据管道，我们希望帮助他们更快地扩展和创新，我们也希望帮助他们提高效率，降低他们的成本，所以基本上在流程中的两个部分，首先是可见性，然后第二个是能够查看不同的管道，能够做交易，或者查看一个管道和另一个管道之间的交易，然后是成本效益分析。你想确保运行速度快或准时，你想确保管道中的数据是健康的，质量好的，所以这是唯一一个真正将性能和质量结合到管道健康状况的单一视图中的产品，所以粉红色的气泡显示管道中发生的过程，绿色的盒子显示数据。我们可以在一个视图中向你展示处理过程的健康状况和数据的健康状况，然后基本上可以让你向下钻研，查看数据质量的Torch，查看处理过程的性能，所以这是在高层次上。关于我们的管道，我想说的是，有些产品可以让你在静态视图中查看线路或管道，但我们在每次运行管道时都会捕捉到围绕管道的每个执行的指标。

这里有一个管道视图，我们为管道每次运行的历史记录，当你运行时，当你看一个特定数据管道的执行过程，我们可以告诉你这是如何执行的，在整个过程中每一步的时间是什么，总体上是什么。我们还可以让你进行比较，所以如果你想知道为什么今天比昨天花的时间长，可以让你弄清楚流程中或管道中的什么地方。它的流程或你知道什么是可能运行得更快或不同的，它也有助于你在设计时，所以如果你设计，如果你正在寻找2个不同的架构和2个不同的管道与不同的技术，也可能是两种不同的云，比如一个在阿里云一个在华为云，你可以比较，看哪一个表现更好，哪一个更快和在哪些领域，哪一个性能更好，哪一个运行成本更低，这些都可以帮助你优化你的设计，以及从性能的角度解决任何问题，然后你可以深入到任何特定的过程，看看这个过程是在哪里执行的，围绕这个过程做进一步的分析。通过比较一种架构与另一种架构的价格和性能以及每种架构的相应迁移成本来优化设计。这也有助于权衡增加新技术的好处和技术蔓延的坏处。这使你能够合理调整现代化的短期投资，以获得长期的收益，同时最大限度地减少技术蔓延。

如果你想点击任何特定的资产，我们会告诉你它是什么时候被剖析的，如果它有数据质量应用或和解政策，基本上确保数据从a点到b点。我们让你全面了解该资产的健康状况，然后我们还让你深入了解数据质量，所以这是流量的一个快速视图，基本上是你的管道的运营视图的综合视图，能够看到每个执行，能够看到处理或计算性能健康，质量健康，并能够深入了解每个过程。

Flow提供的价值和关键功能如图所示，

第一个是它能消除数据停机时间，在问题影响性能或导致计划外中断之前，预测和预防这些问题。通过监控 SLA/SLO 并轻松、即时地识别异常，并跟踪每个数据交易、握手和转换，实现实时监控数据模式、分布和业务事件；第二个是他能优化数据工程生产力，自动化管道检测，并通过数据传输、转换、数据移动和复制生成高保真的遥测数据。flow可以立即识别和修复数据管道问题，即时创建和跟踪自定义业务事件，并且与开箱即用的流行 ETL 工具集成；然后是它简化数据管道操作，使用统一控制台进行监控、调查和补救。最后一个是它可以与流行的工具和平台集成，轻松连接与常用的ETL和ELT工具，定制管道建立在Databricks,Snowpipe,Hive,Spark,and orchestration engines, such as Airflow and Oozie之上。

刚刚有说到一个问题，动态的云成本让我们的数据回报率比较低，那么应该如何解决这种问题呢，首先我们需要为数据工程师提供多维数据可观察性平台比如说Flow，让他们能够精细地了解云数据成本。让数据团队继续快速行动，同时保持在既定的财务范围内。

第二步是让成本优化成为数据工程文化中的一流指标。成本优化必须从设计阶段开始。在工程阶段之后，它不能被动地完成。

第三步是通过使用数据可观察性，节省调查支出异常的时间。这可以提供自动化的根本原因分析，以确定潜在的成本驱动因素，例如服务类型、特定的仓库计算成本等。假如公司需要迁移数据到云上，我们通过比较一种架构与另一种架构的价格和性能以及每种架构的相应迁移成本来优化设计。这也有助于权衡添加新技术的好处与技术蔓延的不利因素。这使您能够适当调整现代化的短期投资以获得长期收益，同时最大限度地减少技术蔓延。

第四步是通过电子邮件、Slack 和其他渠道的自动警报，让数据运营团队（DataOps） 随时了解意外成本事件。

最后让数据团队与其业务线、FinOps、IT 等方面的合作伙伴安排定期财务审查。就有关云数据合同、预算和预测的所有事项进行沟通。

介绍一下虹科数据可观察性方案的特点：

第一个就是它可以快速、无缝地连接到你现有的堆栈，不需要修改你的管道，编写新的代码，或使用特定的编程语言。能够快速实现价值和最大的测试覆盖率，不需要进行大量投资。

第二个就是它监控你的静态数据，不需要从当前存储的地方提取数据。也就是说这个解决方案具有良好的性能、可扩展性和成本效益。它还能确保你满足最高级别的安全和合规要求。

它配置简单，实际上不需要设置阈值。它使用ML模型来自动学习你的系统环境和数据。并且使用异常检测技术，让你知道什么时候可能会出现问题。它不仅考虑到个别指标，而且考虑到你的数据的整体视图和任何特定问题的潜在影响，从而最大限度地减少错误的警报。你不需要花费资源去配置和维护复杂的规则。

它不需要事先对需要监测的内容和方式进行映射。它可以帮助你识别关键资源、关键依赖关系和关键不变量，这样你就可以用很少的人力精力获得广泛的可观察性。

它提供了丰富的上下文，能够快速分流和排除故障。

它通过公开关于数据资产的丰富信息来防止问题的发生，这样我们就可以主动地进行修改。

03

虹科方案为企业带来的好处

虹科云课堂

通过我们这几次的直播，我们可以了解到企业在数字转型关键期面临的一些问题是可以通过我们的产品去解决的，这边也有一页PPT去总结我们这三个产品能够为企业提供的好处。

我们的产品可以从这四个层面对企业数据系统进行优化调整，它是监控和管理当今复杂数据存储和管道的一种全方位方法。它有助于预测、预防和自动解决数据性能问题及其相关的人工智能和分析工作负载。它使用自动化和机器学习来关联多个服务器、节点、集群、容器和应用程序中的数千个事件。

我们的解决方案提供了静态数据数据和动态数据数据、数据处理以及数据传输管道的360度视图。它创建解决方案并提供优化，以保持数据性能的准确性、一致性和可用性，因此数据操作和工程团队可以轻松满足其所有SLA。

真正的数据可观察性工具超越了传统的数据编目和质量工具，通过监控更广泛的数据风险，包括动态数据。他们还将更多任务自动化以减少手动工作，并使用机器学习来提高他们的检测能力——例如数据移动、结构变化（模式漂移）和数据趋势（数据漂移）等领域。总之，数据可观察性工具可以提供比其前辈更强大、更高效、更智能的数据管理能力。

我们不能忘记数据管道管理领域，数据可观察性工具在该领域是无可匹敌的。他们可以通过在整个过程中提供持续的数据验证来使管道更易于管理。它们还可以提高迁移到云的速度，降低数据存储和处理成本，同时实现您的 SLA。换句话说，减少云时代数据管道的管理时间和成本。

云科技事业部

虹科电子

虹科在工业、制造业领域深耕了长达20年，随着云技术的全面发展和数字化工厂的逐步落地，虹科参与了越来越多的云主题的业务，从最初的所有数据先统一采集上云，到后续的边缘计算再上云，到现在的全面业务优化、洞察研究、成本优化等，虹科的云科技事业部已经为行业的用户实操并积累了丰富的解决方案和应用场景。它们包括：资源监控、安全保障、多云的互联互通、应用和数据牵引等。虹科云科技团队在不断顺应国家策略，从技术创新、标准制定、丰富生态、安全保障、节能减排等五个方面，不断创造出更好的产品，帮助工业制造业的用户实现数字化转型、实现基于数据的降本增效。

虹科云科技工程师团队不断参与美国和欧洲产业内先进的专家培训，学习和实践创新的技术手段、操作性强的应用案例，并不断引入到国内的项目中完成落地和推广，这让我们团队充满了自豪感与使命感，赋予了我们当今时代极大的技术价值、工作成就感。