大数据管理：挑战与解决方案

什么是大数据?

大数据是一个术语，用来描述一个组织中以各种形式存在的巨大且快速扩展的数据量，这些数据通常来自多个来源。换言之，数据是巨大、多样且分散的。大数据对几乎每一个行业的企业决策、产品创造和运营管理都产生了巨大影响。大数据的主要障碍与组织、技术和运营方面的限制有关，例如缺乏基础设施或熟练人员。让我们将这些障碍分解为易于管理、易于理解的问题，并提供具体的解决方案。

大数据挑战及其解决方案

1、数量不断增长

挑战：大数据名副其实。企业拥有数兆字节的数据，这些数据不断扩展，如果处理不当，可能很快就失控。企业失去了从数据资产中获得价值的机会，因为在缺乏足够的设计、处理能力和基础设施的情况下，其无法跟上这种扩展。

解决方案：利用存储和管理技术来处理与大数据管理相关的日益增长的数量和困难。确保决策与组织需求和业务目标相一致，无论是使用云计算、本地托管还是混合策略。构建工具和可扩展的架构，以适应不断增长的数据量而不牺牲其完整性。

2、数据质量低下

挑战：大数据的主要问题之一是质量低下，仅美国每年就花费超过3万亿美元。那么，错误数据究竟是什么?不一致的、过时的、缺失的、错误的、难以辨认的和重复的数据可能会降低整个集合的质量。即使是很小的错误和不一致也可能导致严重的大数据问题。因此，监控其质量至关重要。否则，弊大于利。错误、低效率和误导性的见解是由糟糕的数据质量引起的，它们最终会给组织带来成本。

解决方案：建立内部方法和人员来处理数据是实现良好数据卫生的第一步。应该建立适当的数据治理，决定访问控制和数据管理的工具和协议。利用许多可用的当前数据管理技术来建立一个有效的过程，以各种方式清理、过滤、排序、丰富和管理数据。

3、数据来源多，集成难度大

挑战：显然，数据越多越好。但前提是，知道如何为协作分析编译信息，否则更多的数据通常不会转化为更大的价值。事实上，寻找或创建能带来洞察力和集成异构数据的触点是大数据倡议面临的两个最困难的问题。

解决方案：制作一个清单，以确定数据的来源，以及将其集成以进行协作分析是否有意义。使用数据集成技术链接来自多个来源的数据，包括数据库、文件、应用和数据仓库，并为大数据分析做好准备。可以使用precise或Qlik等产品，这些产品是专业的数据集成解决方案，又或者可以使用Microsoft、SAP、Oracle或企业目前使用的其他技术。

4、项目和基础设施成本增加

挑战：阻碍高管将数据货币化的主要障碍之一是有限的IT预算。实施大数据的成本很高。其包括庞大的初期投资，且不能立即获得回报，因此谨慎的准备是必要的。此外，基础设施随着数据量的增加而迅速扩展。有时候，可能会很容易忘记财产及维护其的费用。

解决方案：通过定期监控基础设施，大数据可以解决大多数日益增加的成本问题。在构建数据处理管道时，要及早考虑费用。选择负担得起的工具，满足经济限制。良好的开发和数据运行方法有助于平衡可扩展性成本，找到节省成本的可能性，并监控用于数据管理和存储的服务和资源。

5、洞察时间长

挑战：“洞察时间”这个术语描述的是在数据变得过时和不可用之前，需要多长时间才能从数据中得出结论。低效的数据管理技术和费力的数据管道导致的大数据问题之一是获得洞察力的时间很长。在某些业务场景中，这个指标比其他指标更重要。

解决方案：当从事物联网和大数据项目时，自动化和远程控制严重依赖于低延迟，应该考虑利用边缘和雾技术来提供尽可能接近行动的分析。对实时数据的快速响应将成为可能，而洞察的时间将缩短。

不必坚持严格的数据方法。在创建和构建数据管道时，采用灵活的方法并定期进行检查，以确定效率低下和速度下降的情况。利用大数据可视化工具和方法，以及当代人工智能技术，更快地提供和传播见解。