解决跨运营和数据湖数据的实时分析挑战
数字变换释放出大量数据。典型的组织在尝试使用工具时面临挑战 - 例如涉及IOT的工具 - 需要的实时分析它收集的数据。驾驶实时业务流程需要运行和数据湖加速度，可以使用内存计算作为混合交易/分析处理平台，具有在公司范围内运行联合查询的能力。
今天，公司通常在A中存储其运营数据的副本数据湖，通常在Hadoop上建立，可用于以后的分析。但是，对于越来越多的数字转换和全部的数字转换和全部的客户体验，公司发现他们必须在其运行数据集和数据湖中的数据的子集中运行实时分析。对于传统的基础架构，实时分析证明了挑战，因为在数据湖中访问和处理数据以及在运行跨运营和存档数据时运行联合查询的困难。成熟的内存计算（IMC）技术可以帮助解决这些障碍。该技术提供了具有流行数据平台的内置集成的实时性能和大规模可扩展性。该平台能够在操作和数据湖数据集中运行实时分析。
考虑下列情况：复印机公司拥有成千上万的连通复印机，部署数千个地点。配备了许多实时传感器，复印机是IOT设备，将大量数据发送回公司的IOT平台，从而摄取，进程，处理和分析设备数据。为了提高资产利用率，公司在失败之前使用预测维护到服务机器。为此，公司必须能够在流运营数据上运行实时分析，如果标记潜在问题，请将运行数据与该复印机在数据湖中的历史数据进行比较。然后，该组织可以使用该数据对特定复印机的问题进行故障排除，并在实时响应。
在执行分析流媒体运营大数据存储在数据湖中的数据需要混合事务/分析处理（HTAP），可以在访问数据湖中的热表中进行联合查询的同时摄取和处理操作数据。IMC平台已经出现为关键组成部分尽可能做。
今天内存计算功能
IMC摄取，流程和分析运行数据，使用实时性能和可伸缩性与内存数据的Petabytes。今天的IMC平台包括一些或所有这些功能：
内存中的数据网格(IMDG)或内存中的数据库(IMDB)：imdgs和imdbs，它在内部服务器集群中部署在云或池可用内存中，并计算内存中的所有数据，从而消除了常量磁盘读取和写入。IMDG在现有数据库上部署，并保持底层数据库同步。IMDB在内存中保存数据以进行处理，所有数据都写入磁盘以进行备份和恢复。IMDB还可以通过维护内存中的一些数据来对基于磁盘的数据集进行快速重启和应用程序速度和基础架构成本之间的权衡。
HTAP或混合操作/分析处理能力：系统维护单个数据集，其中执行同时事务和分析处理。这消除了从专用在线事务处理基础架构移动到单独的在线分析处理基础架构所需的昂贵和耗时的提取物，转换，负载过程。
流数据处理功能：管理移动数据的复杂性，使IMC平台能够快速摄取，交易和分析高批量数据流，具有实时性能。
机器学习和深度学习功能：IMC平台合并机器学习库提供Gartner是指的过程中的HTAP，基于运行数据到机器学习模型的实时更新。IMC平台，其中包含具有深度学习平台的本机集成，例如Tensorflow，可以大大降低将数据转移到深度学习培训平台的成本和复杂性，并在培训后更新深度学习模型。
一些IMC平台使用内置集成来连接流行的流数据平台，例如Apache Kafka和数据处理工具，例如Apache Spark以连接到Apache Hadoop。
- Apache Kafka.：Kafka在实时构建数据管道和流式媒体应用程序，该应用程序处理传入数据。
- 阿帕奇火花：Spark是一个统一的分析引擎，用于对数据进行大规模的数据处理，例如为联合查询和从基于Hadoop的数据湖传输到操作数据存储的数据。
- Apache Hadoop：Hadoop包括分布式文件系统，可提供对应用程序数据的高吞吐量访问权限。
跨运营和数据湖数据的实时分析的新基础设施
考虑另一个例子:一家航空公司正在从其飞机引擎收集连续的数据流。数据被吸收，处理，分析，然后存储在数据湖中，只有最近的数据存储在运营数据存储中。突然间，实时数据中的异常读数触发特定引擎的警报。要确定问题的根本原因，系统需要分析在运营数据存储中的最新发动机数据以及该引擎的所有历史数据，这是存储在数据湖中。
该航空公司的新基础设施，由一个IMC平台Kafka、Spark和Hadoop支持，使这成为可能。Kafka将实时流数据提供给IMC平台和Hadoop数据湖。Spark从数据湖中检索所需的数据，并将其交付给IMC平台。IMC平台在内存中维护组合数据集，并跨组合数据集运行实时查询。其结果是对异常读数的原因的深刻而直接的洞察。
在运行运行运行运行运行运行数据和运行运行数据和一个子集数据湖数据可以为实时服务和业务决策的新时代供电，包括预测维护服务，并更快地对具有增加资产利用和ROI的数据异常的反应。这些功能有助于公司改善其产品和服务的设计，包括IOT平台，并创建新的实时使用。
所有IOT议程网络贡献者负责其帖子的内容和准确性。意见是作者，不一定能够传达物联盟议程的思想。