用机器学习避免工业物联网数字废气
事情互联网是从概念到现实的速度，传感器和智能连接设备喂养我们24/7的洪水数据。一种思科公司的研究据估计，到2020年，物联网设备每年将产生600兆兆字节的数据。其中大部分数据可能来自汽车、制造业、重工业和能源行业。工业物联网数据的如此大规模增长表明，我们即将进入一场新的工业革命，工业将经历与第一次工业革命一样彻底的转变。与工业4.0工厂自动化数据驱动的人工智能有望创造出一种信息物理系统，该系统可以在成长过程中学习，在故障影响性能之前预测故障，并以超乎我们想象的效率连接工厂和供应链。在这个美丽的新世界里，由低成本、互联的物联网传感器提供的精确和及时的数据是这个领域的硬币，它可能会重塑整个行业，打破大型现有企业和雄心勃勃的灵活初创企业之间的力量平衡。
但是，尽管这些传感器数据很有价值，实现这一乌托邦式愿景的挑战往往被低估。即使是最精确和及时的数据洪流，如果公司没有做好处理这些数据的准备，也可能会产生更多的问题。结果就是我所说的“数字废气”。“数字废气”一词既可以指有价值的(通常是个人的)数据的不受欢迎的泄露，这些数据可能会被坏人利用互联网滥用，也可以指被浪费掉的数据。本文将讨论后一种用法，即从不生成任何价值的数据。
一种麦肯锡全球研究所的2015年报告估计，在具有30,000个传感器的石油器上，“只检查了1％的数据。”另一个行业研究表明，只有三分之一的公司收集物联网数据实际上是使用它。那么这个未使用的数据在哪里走？在创建它之后，大量的IIOT数据只会消失毫秒。它是由传感器创建的，在本地检查（由物联网设备或网关），并丢弃，因为它不被视为足以保留。大多数休息进入了我经常认为是数字垃圾填埋场 - 庞大的存储库，其中数据被埋葬并迅速忘记。通常，丢弃哪些数据的决定，通过创建IIOT应用程序的价值命题的短期视角来驱动丢弃，存储和/或检查。但这种短期视角可以在较长时间内处于竞争劣势的竞争劣势。大型档案数据集可以为开发可用于的有效分析模型做出巨大贡献异常检测和预测分析。
为避免IIT数字排气并保持IIT数据的潜在潜在价值，企业需要开发长期IIOT数据保留和治理政策，以确保他们可以随着时间的推移演变和丰富其IoT价值主题，并将IIT数据作为战略资产。。虽然有助于企业具有明确的战略路线图，但对于其IIOT应用的演变，大多数组织根本没有正确评估其IIOT数据的潜在商机的全部潜在商机。这些机会最终会随着时间的推移而出现。但是通过花时间仔细评估IIOT的策略数据保留，企业可以奠定良好的基础，可以建立未来的价值。
那么如何避免丢弃可能提供有价值的洞察力或可批准的数据，同时仍然没有存储一切？如果储存成本和网络带宽无限制，则答案将很容易。只需以最高分辨率示例传感器数据即可，并通过网络发送每个样本以进行存档存储。然而，对于许多人来说，具有大量传感器和高频采样的IIT应用，这种方法是不切实际的。必须达到平衡抽样数据以足够高的速率来实现实时自动逻辑的响应，并以足够低的速率保持数据以在经济上可持续。
人工智能是答案吗？
可以模拟人类认知某些方面的AI软件算法正在变得越来越普遍，并且可以开源社区访问。近年来，这些算法的能力改善了它们在某些狭窄任务中近似人类性能的程度，例如图像和语音识别和语言翻译。它们通常超过人类性能，以识别某些数据集中的异常，模式和相关性，这些数据集太大而无法使用传统的分析仪表板进行有意义地评估。并且他们不断学习的能力，同时使用该知识作为数据集生长的准确和有价值的预测，越来越影响我们的日常生活。无论是亚马逊推荐书籍或电影，您的银行欺诈检测部门是否给您打电话，甚至是现在正在测试的自动驾驶汽车 - 机器学习AI算法是改变我们的世界。
许多人认为，人工智能对于快速从工业物联网数据中获得有价值的见解至关重要，否则，这些数据可能会因为暴露关键的操作异常、模式和相关性而白白浪费。AI还可以在识别重要数据以提高留存率方面发挥重要作用。但在工业物联网设置中使用人工智能并不像听起来那么简单。当然，人工智能云服务(如IBM的沃森物联网(Watson IoT)和微软的小娜(Cortana))可以在越来越多的领域提供数据并产生洞察。然而，工业物联网带来了一些特殊的挑战，让人工智能决定哪些(以及多少)数据需要保留。
AI与雾计算的作用
在存储所有生成的原始工业物联网传感器数据或在传输长期存储之前首先盲目地汇总飞行中的数据(可能在边缘网关上)之间进行选择的企业，通常被迫选择汇总方法。然而，选择错误的总结方法可能会导致准确性的损失和错过有意义的事件，这些事件可以帮助改善您的业务。虽然整合来自多台机器的数据可以开发复杂的分析模型，但分析和处理最接近数据生成地点的时间关键数据的能力可以增强工业物联网应用程序的响应性和可伸缩性。
对盲目概括的重大改进是具有时间关键的复杂分析处理（例如算法预测失效分析)在远端设备或网关上操作，可以处理整个物联网数据流并根据需要实时响应。时间敏感性较低的分析智能和业务逻辑可以集中在云中，并可以使用汇总的数据子集。人工智能算法可以根据原始传感器数据的实时视图，帮助确定多少摘要是合适的。这就是雾计算可以发挥作用的地方。雾计算是一种分布式计算架构，强调使用远端智能处理复杂事件。当在雾计算模型中使用人工智能时，基于预测智能的更智能实时决策(包括何时保存数据的决策)就可以在最接近数据来源的地方做出。然而，这并不像听起来那么容易做到。边缘设备通常没有足够的计算和内存资源来适应预测模型的高性能执行。虽然能够有效地使用预先训练过的人工智能模型的新型雾计算设备正在出现，但它们可能无法看到足够大或多样化的数据集，以训练复杂的人工智能模型。获取大量和不同的数据集仍然需要整合跨许多边缘设备生成的数据。
实际的妥协IOT架构必须首先使用一些集中（云）聚合和处理原始物联网传感器数据，用于培训有用的机器学习模型，然后是这些模型的远程执行和改进。在许多工业环境中，这种集中化必须是本地（用于成本和安全原因），使私人物联网数据摄取，处理和存储任何值得考虑的IIOT架构的重要组成部分。但公共物联网云也可以发挥作用，以便在地理和组织边界中共享洞察力（例如，配有分发和供应链合作伙伴）。多层架构（涉及远边，私有云和公共云）可以在本地响应能力和综合机器学习之间提供出色的平衡，同时维护专有数据集的隐私。实现如此多分层架构的关键是能够在每个层采用ML，并实时地动态适应数据保留和概述策略。
自适应联邦毫升
联合ML (FML)是一种技术，机器学习模型可以在网络的远端操作和细化，同时仍然有助于开发更丰富的集中式机器学习模型。对远端模型的局部细化可以被总结并发送到一个级别，以便在下一层细化合并模型。一个工厂内生产线上的尖端设备可以促进一个复杂的工厂级模型的发展，该模型整合了该工厂内所有相关设备和生产线的学习。对工厂级模型的改进可以提升到整合了所有工厂的学习的企业级模型。
适应性联邦ML（AFML）进一步采用FML几步。首先，随着集中式模型的发展，它们被推出以更换较低层的模型，允许整个系统学习。其次，当通过远边的AI检测到无表征异常时，系统通过上传异常归档的高分辨率原始数据的高速缓存来适应归档，并允许对异常进行详细分析和表征异常。最后，这些系统还可以暂时增加采样率和/或降低摘要间隔，以提供更高分辨率的异常发生的视图。
这是AFML方法如何工作的示例：
AFLM:初期培训模式:
- 所有原始传感器数据都从物联网设备发送到集中的、本地的私有物联网存储，以便聚集足够大的数据集来训练有效的人工智能模型。
- 然后，一个本地大数据、集群计算环境用于训练AI模型，以进行异常和预测分析。
- 一旦培训型号，它们就会被推到雾计算设备上，并达到企业级以进行整合。原始数据的集中聚合停止和系统切换到生产模式。
AFML:生产模式:
- 雾计算设备上的复杂事件处理器使用AI模型实时分析所有数据，并向本地监控逻辑和私有云提供它们的洞察力。
- 当一切都是标称的，只有总结数据被转发到集中式IOT云进行归档。
- 每当迷雾设备AI标记模型的偏差时，监督逻辑都会有三件事：
- 为该预测失败执行任何本地规则
- 向本地IOT云发送模型偏差的摘要（用于更新统一模型）
- 如果异常是一个无声的异常，请发送给IOT云的原始数据缓存，这些数据围绕异常的原始数据
- 每个物联网云层的批处理流程例行地重新训练机器学习模型(使用模型偏差数据和原始数据)，并定期将升级后的模型下推到较低的层。
- 最后，可以通过合作伙伴使用的所选数据子集发送到公共云以进行进一步曝光。
因此，而不是简单地选择盲目地将Ioiot数据汇总在边缘（产生大规模的数据排气），复杂预测分析模型可以直接在远处设备上使用，在那里可以检查所有传感器数据。这些分析模型不仅可以提供及时的当地监督决策，他们可以从中获取的数据学习，也可以决定在任何时刻在任何时刻集中保存的原始数据。通过这种方法，整个系统会随着时间的推移快速反应并更聪明。
为AFML选择正确的技术
制作AFML架构工作的关键是选择与此模型设计的IOT和Analytics工具。您需要一个上提IoT和Analytics云基础架构，其高效，灵活，可扩展和模块化。您需要能够轻松地协调您的主要架构构建块的交互。您选择的工具应允许您轻松适应业务的转换需求，使您可以尝试和创新。
虽然我们开始看到可用于开发各种IIT解决方案的IOT工具的扩散，但这些工具很少集成。工业企业通常会探讨系统集成商，以弥合定制软件开发的差距。结果往往是一种混乱，不灵活，昂贵和不支持的Mishmash，这些技术已经松散地堆放在一起。
值得庆幸的是，一些物联网供应商现在开始构建更完整集成的物联网服务创建和充实平台(scep)，旨在支持AFML工业物联网架构。scep允许以最少的编程和管理工作高效地创建和发展复杂的物联网体系结构、应用程序和编配。这些下一代物联网平台将帮助企业消除物联网数据排放，并将物联网数据用作战略业务资产。
所有IOT议程网络贡献者负责其帖子的内容和准确性。意见是作者，不一定能够传达物联盟议程的思想。