大数据分析必须面临的七大挑战和解决方案

在去战斗之前,每个将军都需要研究他的对手:他们的军队有多大,他们的武器是什么,他们打过多少仗,他们使用什么主要战术。这些知识可以使将军制定正确的战略,并做好战斗准备。

就这样,在发布大数据之前,每个决策者必须知道他们正在处理什么。在这里,我们的大数据顾问列举了 7 大数据挑战并提供解决方案。使用此"内部信息",您将能够驯服可怕的大数据生物,而不会让他们在构建数据驱动业务的战斗中击败您。

84e38ca78515.png

挑战#1:对大数据的理解和接受不足

很多时候,公司甚至不知道基本知识:什么是大数据,它的好处是什么,需要什么基础设施,等等。如果不明确理解,大数据采用项目就有可能失败。公司可能会将大量的时间和资源浪费在他们甚至不知道如何使用的东西上。

如果员工不了解大数据的价值和/或不想为了采用大数据而更改现有流程,他们可以抵制这些数据并阻碍公司的进步。

解决方案:

大数据对于公司来说是一个巨大的变化,应该先被高层管理者接受,然后再下阶梯。为了确保各级大数据的理解和接受,IT 部门需要组织大量的培训和研讨会。

为了进一步提高大数据的接受度,需要对新大数据解决方案的实现和使用进行监控和控制。但是,高层管理人员不应过度控制,因为这可能会产生负面影响。

挑战#2:混淆各种大数据技术

现在市场上的各种大数据技术很容易迷失方向。你需要火花还是哈杜普地图下降的速度就足够了?最好在卡桑德拉或 Hbase 中存储数据?找到答案可能比较棘手。如果你在探索技术机会的海洋时,没有清楚地看到你需要什么,那么选择得比较差就更容易了。
解决方案:

如果你对大数据世界是陌生的,那么寻求专业帮助是正确的选择。您可以聘请专家或求助于供应商进行大数据咨询。在这两种情况下,在共同努力下,您将能够制定出策略,并在此基础上选择所需的技术堆栈。

挑战#3:支付大量资金

本地大数据与云内成本

大数据采用项目需要大量费用。如果您选择本地解决方案,您必须注意新硬件、新员工(管理员和开发人员)、电力等的成本。另外:虽然所需的框架是开源的,但您仍然需要为新软件的开发、设置、配置和维护付费。

如果您决定基于云的大数据解决方案,您仍然需要雇佣员工(如上所示),并支付云服务、大数据解决方案开发以及设置和维护所需的框架费用。

此外,在这两种情况下,您都需要允许未来的扩展,以避免大数据增长失控,并花费您一大笔钱。

解决方案:

公司钱包的特殊救赎将取决于您公司的具体技术需求和业务目标。例如,想要灵活性的公司从云中获益。而安全要求极其苛刻的公司则就地上市。

当部分数据在云和零件中存储和处理时,也有混合解决方案 - 本地,这也具有成本效益。而求助于数据湖泊或算法优化(如果处理得当)也可以省钱:

  • 数据湖泊可以为您目前不需要分析的数据提供廉价的存储机会。
  • 优化后的算法可将计算功耗降低 5 到 100 倍。甚至更多。

总之,解决这一挑战的关键是正确分析您的需求,并选择相应的行动方针。

 

挑战#4:管理数据质量的复杂性

来自不同来源的数据

迟早会遇到数据集成问题,因为您需要分析的数据来自各种不同格式的不同来源。例如,电子商务公司需要分析来自网站日志、呼叫中心、竞争对手网站"扫描"和社交媒体的数据。数据格式显然会有所不同,匹配它们可能会有问题。例如,您的解决方案必须知道,名为SALOMON QST 92 17/18、所罗门 QST 92 2017-18和所罗门 QST 92 滑雪板 2018 的滑雪板是一回事,而公司科学软和科学高不是。

不可靠的数据

没有人隐瞒大数据不是 100% 准确的事实。总之,这并没有那么重要。但这并不意味着你根本不应该控制你的数据有多可靠。它不仅可以包含错误的信息,还可以复制自身,并包含矛盾。质量极差的数据不太可能为您的精确要求要求很高的业务任务带来任何有用的见解或闪亮的机会。

解决方案:

大数据质量

有一大堆技术专门用于清理数据。但首先。您的大数据需要有一个适当的模型。只有在创建它之后,您才能继续做其他事情,如:

将数据与单个真实点进行比较(例如,将地址变体与其在邮政系统数据库中的拼写进行比较)。
匹配记录并合并它们,如果它们与同一实体相关联。
但请注意,大数据从来不是 100% 准确的。你必须知道它和处理它, 这是这篇文章关于大数据质量可以帮助你的东西。

挑战#5:危险的大数据安全漏洞

大数据的安全挑战是一个相当巨大的问题,值得一个完整的另一篇文章致力于这个主题。但是,让我们更大规模地研究这个问题。

很多时候,大数据采用项目将安全性推迟到后期阶段。坦率地说,这不是太明智之举。大数据技术确实在发展,但其安全功能仍然被忽视,因为希望在应用级别上授予安全性。我们得到什么?两次(随着技术进步和项目实施),大数据安全都会被抛在一边。

解决方案:

防范可能面临的大数据安全挑战,首先要将安全性放在首位。在设计解决方案架构的阶段,这一点尤为重要。因为如果你从一开始就不与大数据安全相处, 它会咬你, 当你最意想不到的。

挑战#6:将大数据转换为有价值的见解的棘手过程

大数据的宝贵见解

下面是一个例子:您的超酷大数据分析仅根据您关于客户行为的历史数据,查看人们购买的商品(例如针头和线程)。与此同时,在Instagram上,某个足球运动员贴出了他的新造型,他穿的两件特色衣服是白色耐克运动鞋和米色帽子。他看起来不错, 看到的人也想这样看。因此,他们急于购买一双类似的运动鞋和类似的帽子。但是在你的商店里,你只有运动鞋。因此,您将失去收入,甚至可能失去一些忠实的客户。

解决方案:

您没有库存所需物品的原因是您的大数据工具无法分析来自社交网络或竞争对手 Web 商店的数据。虽然您的竞争对手的大数据等确实注意到社交媒体的趋势在近乎实时。他们的商店有两个项目,甚至提供15%的折扣,如果你买两个。

这里的想法是,你需要创建一个适当的因素和数据源系统,其分析将带来所需的见解,并确保没有范围。这种系统通常应包括外部来源,即使可能难以获取和分析外部数据。

挑战#7:升级的烦恼

大数据最典型的特点是其巨大的增长能力。大数据面临的最严重挑战之一正是与此相关。

您的解决方案的设计可以经过深思熟虑,并调整为升级,无需额外的努力。但真正的问题不是引入新的处理和存储能力的实际过程。它在于扩展的复杂性,因此,您的系统的性能不会下降,并且您保持在预算之内。

解决方案:

应对此类挑战的首要预防措施是构建一个体面的大数据解决方案架构。只要您的大数据解决方案能够夸耀这样一件事,以后可能会发生更少的问题。另一件非常重要的事情是设计您的大数据算法,同时牢记未来的扩展。

但除此之外,您还需要为系统的维护和支持进行规划,以便正确处理与数据增长相关的任何更改。最重要的是,进行系统的绩效审计有助于发现薄弱环节并及时解决这些薄弱环节。

输赢?
正如您可能注意到的,如果您的大数据解决方案具有一个体面、组织有序且经过深思熟虑的架构,则大多数经过审查的挑战都可以预见和处理。这意味着公司应该对此采取系统化的方法。但除此之外,公司应该:

  • 为员工举办研讨会,确保大数据的采用。
  • 仔细选择技术堆栈。
  • 头脑成本和计划未来的升级。
  • 请记住,数据不是 100% 准确,但仍能管理其质量。
  • 深入而广泛地挖掘可操作的见解。
  • 永远不要忽视大数据安全性。

如果你的公司遵循这些提示,它有一个公平的机会击败可怕的七大挑战。

  • 微信-二维码
立即体验大数据分析工具 DataFocus
免费体验,内置100+分析模版供你体验
立即使用