Hadoop:大数据如何改变工业

一名50岁的男子在跑步机上跑步，收到他的苹果手表的警报。消息告诉他立即停止，因为他的脉搏异常高，这使他有心脏病发作的危险。

由于 Pontem，这种场景并不遥远，Pontem 是一个平台，它从 Apple Watch 和 Fitbit 等设备中获取输入，并使用基于云的数据、机器学习和认知处理来决定何时需要此类警报。对于最终用户来说，这可能是一个救命稻草。对于开发人员来说，这是具有真实世界意义的大数据演变的最新示例。这种平台的演变在很大程度上可能与Hadoop生态系统的成熟直接相关。

Hadoop 曾经只是管理大数据的工具，现已成为行业特定解决方案的基础。然而，为此目的调整 Hadoop 需要适合每个行业的具体方法。

除了医疗保健，金融服务和制造业是公司雇用 Hadoop 来管理、存储和分析数据的领域。例如，在金融服务中，大数据用于高级人工智能和机器学习模型，帮助用户更有效地管理信用风险。

信用风险（即借款人无法跟上付款的概率）是企业的主要担忧。信贷风险管理试图降低发生这种可能性，一直是金融服务公司最头疼的问题。尽管这是整个银行业发展的基石，但当今金融服务的复杂性和演变性给传统的信贷风险模型带来了巨大压力。通过 Hadoop 等平台以多种格式提供大数据有助于公司创建先进的信用风险模型，同时考虑了从未属于传统信用风险框架的变量和因素。

大数据允许构建新模型。有大量的客户数据可供使用，包括消费行为、在线浏览和客户付款，可以帮助金融机构做出更好的决策。在这里，Hadoop 操纵和排序非结构化数据的能力可以应用于特定功能。能够在Hadoop上创建大型数据湖，使用 Kogni 等工具提供显著的保护和数据安全，这导致这些行业模型发展到今天的水平。

Hadoop 是许多多层行业大数据解决方案的基层，多年来也不断演变，为管理大数据提供了灵活性和规模。该平台能够将大数据分解成可管理的块，并并行运行较小的工作（使用低成本硬件、内部故障容差和自我修复），使得 Hadoop 集群中的数百或数千台服务器能够以可管理的成本实现大规模可扩展性。通过大规模基础设施管理大数据现已成为过去。

在 Hadoop 之前，管理计算密集型流程以在复杂模型中利用结构化和非结构化数据的方法有限。使用人工智能和机器学习，构建在 Hadoop 数据湖之上的新型复合模型是自学的，可以适应不断变化的数据模式，而解决方案的总体成本保持低且可扩展。

另一个例子是制造业。与其他行业一样，随着传感器和互联网连接提供运营的实时数据，制造业正在经历数字化转型。例如，在预测性制造中，传感器可以检测生产运行中的早期异常，从而防止成千上万个有缺陷的产品的产生和随后的浪费。这些物联网传感器和边缘设备（包括听觉传感器）连接到能够将数据实时推入云中的软件，以便在 Hadoop 数据湖中摄入，以便进行点播分析。在这些数据湖之上构建的分析层通常具有深刻的学习/AI 方面，这些数据层提供自学和不断发展的数据分析功能。LNS Research最近的一项调查显示，80%的大型制造商正在实施或计划在不久的将来实施此类技术。

Hadoop不是一个神奇的解决方案。这是一个平台，您可以利用它来帮助显示相关数据，以帮助您的特定行业。但是，这些解决方案需要掌握 Hadoop 技术，并结合特定行业内的定制知识和专业知识。通用电气和美国运通一直走在制造此类定制行业大数据解决方案的最前沿——利用大数据和哈多普能力，同时从内部引进行业专业知识。

创建这些解决方案的最佳方式是采用"分层"方法。基础是 Hadoop 数据摄入层，然后是专门为行业构建的模型的算法层。最重要的是一个更具体的层。每个组件都可以自定义到行业或使用案例以提供最大的投资回报率。

但是由于其使用上的复杂程度，需要大量的技术人员进行参与。这种情况并不适用于国内大多数企业。DataFocus Cloud是一个可以实现特定业务场景下人机对话的AI系统，该系统尝试理解人类关于数据的问题，并以丰富的图表和数据回答相关问题，与传统的数据分析方式相比，交互更加智能， 效率提高100倍以上。用户不必花费大量心力去学习和了解难懂的计算机语言，而是用自己最习惯的语言如中文或英文，来使用计算机，就跟谷歌搜索一样简单。