内存中HTAP计算:通过持续学习创建智能工业物联网应用
为了实现最大的ROI，许多工业物联网用例都涉及到必须实时更新的决策模型。例如，一组包裹投递无人机必须能够对需要新的飞行模式的重大和以前没有经历过的天气条件变化，或对电机部件新的意外故故率增加做出立即反应。创建一个可以从系统变化中学习并实时调整的连续学习系统需要空前水平的计算性能。
Gartner已经为实现这一目标定义了一个架构:进程内混合事务/分析处理(HTAP)架构，或过程中的HTAP。对于连续学习系统，进程内HTAP需要一个连续学习框架，能够在新数据进入系统时不断更新机器学习或深度学习模型。内存计算是支持这种持续学习框架的最经济有效的方法。
考虑以下工业物联网连续学习用例，这些用例可以通过一个负担得起的连续学习系统实现:
- 长途卡车-长途卡车车队可能经常受到以前未曾经历过的重大天气变化，或由于新道路开通、因施工而封闭道路或道路状况发生重大新变化而改变道路网络的影响。一个持续学习系统可以整合这些变化对当前卡车运输结果的影响，然后创建一个更新的模型，根据所需的到达时间、燃油成本、卡车可用性以及更多的实时信息，建议更优的路线。
- 移动支付——24小时移动接入和支付系统增加了支付欺诈的可能性。欺诈检测需要一个能够将新的欺诈向量实时整合到模型中的机器学习模型。一个持续学习系统可以用最新的支付和欺诈数据实时更新这个模型，以发现新出现的欺诈策略，并防止它们蔓延。
- 智能城市 - 我们认为作为智能城市的基础之一是自动驾驶汽车急剧减少交通拥堵的能力。为实现这一点，机器学习或深度学习模型必须分析来自多个来源的数据 - 包括交通凸轮，气象站，警察报告，活动日历和更多 - 为自动驾驶汽车提供指导。当系统中发生重大变化时，例如新的道路开放，主要的新建筑项目在交通模式中发射或重大转变，连续学习系统可以快速将这些变化的影响纳入其模型，并立即开始为自我提供更好的指导驾驶车辆。
过程中HTAP对于这些连续学习系统至关重要，因为它消除了归属于传统模型的固有延迟。今天的大多数组织都已部署了单独的事务数据库（OLTP）和分析数据库（OLAP）。提取物，变换，负载（Etl.)过程被用来周期性地将事务数据移动到分析数据库中，引入了一个时间延迟，阻止了实时模型训练。进程内HTAP将OLTP和OLAP功能合并到一个单独的数据存储中，消除了ETL延迟。
当然，OLTP-ETL-OLAP模型最初是为了充分的原因建立。试图分析实况交易数据可能会严重影响运营绩效。所以问题变成了：你如何在没有潜在影响性能的情况下实现进程内的HTAP？
答案是内存计算。
利用内存计算实现进程内HTAP
为了实现工业物联网用例中的进程内HTAP和连续学习系统，需要几种内存计算技术:
- 内存数据网格或内存数据库 - 一个内存数据网格，部署在可以在云或混合环境中的服务器集群中，可以使用群集的整个可用内存和CPU电源进行内存处理。在现有应用程序的数据和应用程序层之间轻松部署内存中的数据网格 - 无需重新替换现有数据库 - 并且可以通过向群集添加新节点来简单地缩放群集。相比之下，内存内存数据库存储内存中的数据并提供RDBMS功能，包括支持SQL和ACID事务。然而，内存数据库需要为现有应用程序撕扯并替换整个数据层，通常在构建新应用程序或对现有应用程序进行主要的重新架构时，将其作为合适的选择。
- 流分析- A流媒体分析引擎利用内存计算速度来管理数据流和事件处理的复杂性。这对于允许用户在不影响事务性能的情况下查询活动数据至关重要。还可能包括对机器学习工具(如Apache Spark)的支持。
- 连续学习框架 - 连续学习框架是基于机器学习和深度学习库，已经针对大规模并行处理进行了优化。这些优化的库 - 完全分布和驻留在内存中 - 使系统能够以并行过程机器学习或深度学习算法，用于驻留在内存计算集群的每个节点上的存储器中。这使得机器学习或深度学习模型能够连续地融入新数据，即使在Petabyte Scale，也不会降低性能。
- 以内存为中心的架构 - 以上述IIOT使用案例的规模至关重要。以内存为中心的架构支持将在磁盘上设置的整个完全运行的数据，只有用户定义的数据子集保持在内存中。这种设计提供了灵活性，以确定基础设施成本和应用程序性能之间自己的最佳权衡。在生产环境中，以记忆为中心的架构支持重新启动后的快速恢复。由于可以立即访问磁盘上的数据，因此在处理开始之前，不需要等待要加载到内存中的所有数据。以内存为中心的架构，可以使用分布式酸和符合ANSI-99 SQL标准的磁盘存储在旋转磁盘，固态驱动器，闪光灯，3D xpoint或其他存储类内存技术上部署。
工业物联网在一系列行业的成功应用将取决于能够实现进程内的HTAP，即基于实时数据的实时学习，其规模为pb级。由于内存成本的下降，在可预见的未来，成熟的开源内存计算平台可能仍然是开发这种持续学习能力的最经济有效的途径。
所有IoT Agenda网络贡献者都对其帖子的内容和准确性负责。意见是作者的，不一定传达物联网议程的想法。