大数据分析所面临的机遇与挑战

2021年已经到来，现在是深入研究大数据分析面临的挑战的时候了，需要调查其根本原因，本文重点介绍了解决这些问题的潜在解决方案。

在开始使用大数据分析系统时，组织最好考虑周全。因为一旦大数据分析已经启动运行，任何修复都可能成本高昂。

在当今的数字世界中，很多组织采用大数据分析系统改进业务决策、增强责任感、提高生产率、做出更好的预测、监控绩效，并获得竞争优势。然而，许多组织在战略层面上使用商业智能分析存在一些问题。根据调研机构Gartner公司的调查，87%的组织表示商业智能（BI）和分析成熟度较低，缺乏数据指导和支持。业务数据分析面临的问题不仅与分析本身有关，还可能与深层次的系统或基础设施问题有关。

1. 解决方案无法提供新见解或及时的见解

很多组织投资采用新的大数据业务分析解决方案，力求获得独特的见解，以帮助领导者做出更明智的业务决策。但有时，新系统提供的见解似乎还不如以往采用的系统提供的见解水平和质量。组织可以从业务或技术的角度来解决这个问题。

（1）数据不足

有些组织可能由于分析数据不足，无法生成新的见解。这可能是由于缺乏数据集成或数据组织不当造成的。

在这种情况下，可以进行数据审核，并确保现有数据集成提供所需的见解。新数据源的集成也可以消除数据的缺乏。还需要检查原始数据是如何进入系统的，并确保所有可能的维度和指标均已经公开并进行分析。最后，数据存储的多样性也可能是一个问题。可以通过引入数据湖来解决这一问题。

（2）数据响应慢

当组织需要实时接收见解时，通常会发生这种情况，但是其系统是为批处理而设计的。因此有些数据现在仍无法使用，因为它们仍在收集或预处理中。

检查组织的ETL（提取、转换、加载）是否能够根据更频繁的计划来处理数据。在某些情况下，批处理驱动的解决方案可以将计划调整提高两倍。另一个选择是使用一种称为Lambda 架构的方法，该方法允许组织将传统的批处理管道与快速的实时流结合起来。

（3）新系统采用旧方法

虽然组织采用了新系统。但是通过原有的办法很难获得更好的答案。这主要是一个业务问题，并且针对这一问题的解决方案因情况而异。最好的方法是咨询行业专家，行业专家在分析方法方面拥有丰富经验，并且了解其业务领域。

2. 不准确的分析

对组织来说，没有什么比不正确的分析更糟糕的事情了，这个问题需要尽快解决。

（1）源数据质量差

如果组织的系统依赖于有缺陷、错误或不完整的数据，那么获得的结果将会很糟糕。数据质量管理和涵盖ETL过程每个阶段的强制性数据验证过程，可以帮助确保不同级别（语法、语义、业务等）的传入数据的质量。它使组织能够识别并清除错误，并确保对某个区域的修改立即显示出来，从而使数据纯净而准确。

（2）与数据流有关的系统缺陷

当由于开发、测试或验证过程中的人为错误而忽略或没有完全满足系统的需求时，就会发生这种情况。

通过对开发生命周期进行高质量的测试和验证，可以减少此类问题的发生，从而最大程度地减少数据处理问题。即使使用高质量数据，组织的分析也可能会提供不准确的结果。在这种情况下，有必要对系统进行详细检查，并检查数据处理算法的实施是否无故障。

3. 在复杂的环境中使用数据分析

这个问题可能会使为创建有效解决方案而投入的所有努力付诸东流。如果使用的数据分析变得太复杂，可能会发现很难从数据中提取价值。复杂性问题通常归结为用户体验（当用户很难浏览系统并从报告中获取信息时）或技术方面（当系统设计过度时）。

（1）数据可视化显示凌乱

如果组织的报告复杂程度太高。这很耗时或很难找到必要的信息。可以通过聘请用户界面（UI）/用户体验（UX）专家来解决此问题，这将帮助组织创建引人注目的用户界面，该界面易于浏览和使用。

（2）系统设计过度

数据分析系统处理的场景很多，并且为组织提供了比其需要还要多的功能，从而模糊了重点。这也会消耗更多的硬件资源，并增加成本。因此，用户只能使用部分功能，其他的一些功能有些浪费，并且其解决方案过于复杂。

确定多余的功能对于组织很重要。使组织的团队定义关键指标：希望可以准确地测量和分析什么，经常使用哪些功能以及关注点是什么。然后摒弃所有不必要的功能。让业务领域的专家来帮助组织进行数据分析也是一个很好的选择。

4. 系统响应时间长

即使输入数据已经可用，数据分析系统仍然花费大量时间来分析数据，并且需要快速提交报告。对于批处理而言，它可能并不那么重要，但是对于实时系统而言，这种延迟可能会花费很多成本。

（1）数据组织效率低下

也许组织的数据组织起来非常困难。最好检查其数据仓库是否根据所需的用例和方案进行设计。如果不是这样，重新设计肯定会有所帮助。

（2）大数据分析基础设施和资源利用问题

问题可能出在系统本身，这意味着它已达到其可扩展性极限，也可能是组织的硬件基础设施不再足够。

这里最简单的解决方案是升级，即为系统添加更多计算资源。只要它能在可承受的预算范围内帮助改善系统响应，并且只要资源得到合理利用就很好。从战略角度来看，更明智的方法是将系统拆分为单独的组件，并对其进行独立扩展。但是需要记住的是，这可能需要对系统重新设计并进行额外的投资。

5. 维护成本昂贵

任何系统都需要对其维护和对基础设施进行持续投资。每个组织都希望尽量减少这些投资。因此，即使对降低维护和基础设施的成本感到满意，也需要重新研究一下系统，并确保没有支付过高的费用。

（1）过时的技术

每天都会出现可以更快、成本更低处理更多数据量的新技术。因此，与现代技术相比，组织的分析技术迟早会过时，需要采用更多的硬件资源，并且维护成本会更高。也难以找到愿意基于传统技术开发和支持解决方案的专家。

组织最好的解决办法是采用新技术。从长远来看，它们不仅可以降低系统的维护成本，还可以提高可靠性、可用性和可扩展性。逐步进行系统重新设计，并逐步采用新元素替换旧元素也很重要。

（2）并非最佳的基础设施

基础设施总有一些优化成本的空间。如果组织仍然采用的是内部部署设施，将业务迁移到云平台可能是一个不错的选择。使用云计算解决方案，组织可以按需付费，从而显著降低成本。如果对安全性有任何限制，仍然可以迁移到私有云。如果已经在云平台上运营，需要检查是否有效地使用，并确保已经实施了所有的最佳实践来削减开支。

（3）选择了设计过度的系统

如果组织没有使用大多数系统功能，则需要继续为其使用的基础设施支付费用。组织根据自己的需求修改业务指标并优化系统。可以采用更加符合业务需求的简单版本替换某些组件。

结论

组织可以调整现有的业务分析平台，但可能会变成一项艰巨的任务。如果组织在新的解决方案设计和实施中错过了某些内容，则可能会浪费时间和资金。
责编AJX