利用内存计算克服物联网应用的挑战
几乎每个行业的公司都转向了数字化转型，以释放大量数据并推动实时业务流程，比如企业及其客户的360度视角。对于这些企业来说，一个基本的技术挑战是将来自竖井数据源的数据(包括实时操作数据)聚集在一起，以一种允许实时访问数据而不降低应用程序或数据源性能的方式。
基于对大量传感器数据的实时分析的物联网用例增加了另一层复杂性，因为大量的数据必须与其他数据源实时聚合，同时也确保数据摄取性能问题不会拖累整个系统。考虑一个预见性维护应用程序用于飞机、卡车甚至工业洗衣机。实时传感器收集的数据从远程机器,如位置、热、流体速度和水平,必须从过去的行为和数据聚合的个人设备,和其他数据来源如天气情况、维修记录、账户和合同信息、响应需求,更换可用性等等。
分布式内存计算平台现在已经成为一种标准的、具有成本效益的方法，使企业能够解决数据聚合挑战，并具有驱动实时业务流程所需的性能和可伸缩性。
分布式内存计算平台
分布式内存计算平台部署在多个服务器的集群上，将集群中可用的RAM和cpu池化，形成高性能缓存。该平台可以部署在本地、公共或私有云或混合环境中，可以作为内存中的数据网格(IMDG)。IMDG可以部署在一个或多个现有应用程序和一个或多个数据源之间。数据存储中定义的数据子集维护在内存缓存中。通过将数据和计算分布到各个IMDG集群节点，并使用大规模并行处理(MPP)，组织可以做到这一点实现实时数据访问即使内存中有千兆字节的数据。
分布式内存计算平台可以支持各种api，包括ANSI-99 SQL, key-value, SQL, JAVA, c++， . net, JDBC/ODBC, REST, PHP, MapReduce, Scala, Groovy和Node.js。开发人员还可以编写自定义api来访问IMDG缓存。数据源和IMDG之间的同步层(或更改数据捕获层)确保在对底层数据存储进行更改时不断更新内存缓存中的数据。
数字集成中心如何帮助克服数据竖井的限制
如上所述部署的内存计算平台是数字集成中心(也称为API平台、智能数据中心或智能操作数据存储)的关键组件。拥有数字集成中心内存计算平台的IMDG同时聚合来自多个源系统的数据子集，包括关系和NoSQL数据库、数据仓库、数据湖、SaaS应用程序和来自物联网传感器或其他流源的流数据。这些数据可能驻留在公共或私有云、内部数据中心或大型机中。然后，数字集成中心中的聚合数据可以被任意数量的业务应用程序以内存速度访问。
数字集成中心具有成本效益扩大规模以满足物联网的需求依赖于从IOT端点收集的大量数据的应用，因为内存计算平台可以通过向群集添加到IMDG自动识别的群集来易于缩放。集线器还可以允许新的应用程序访问聚合数据并克服许多开发人员面对与API访问源数据系统相关的挑战。这些源数据存储可能具有有限的功能，API呼叫可能是昂贵的，这导致高成本，在实时访问数据的能力有限，难以缩放解决方案。数字集成集线器允许开发人员通过提供对集线器中的数据的最广泛的无限API访问来减少对源系统的API调用的数量和类型。
HTAP如何提供实时性能
今天的大多数数据中心仍然依赖于单独的在线事务处理(OLTP)和在线分析处理(OLAP)系统，以确保分析不会影响操作系统。然而，这种方法需要很长时间提取、转换和加载进程定时将数据从OLTP系统复制到OLAP系统。这种时间延迟是驱动基于OLAP系统中的数据的实时业务流程的明显障碍，OLAP系统可能包含关键的历史数据，但不断与OLTP系统不同步。
内存计算平台可以通过提供混合事务/分析处理(HTAP)或混合操作/分析处理(HOAP)所需的速度和规模来解决这一挑战，它能够对操作数据集执行实时分析，而不会影响操作数据存储的性能。通过MPP对RAM中的运行数据进行实时分析，内存计算平台——无论是作为IMDG部署还是作为内存数据库部署——都可以提供HTAP所需的大规模性能。大规模的性能提供了使用操作数据存储的实时事务处理和分析处理。HTAP还具有减少或消除单独OLAP系统需求的长期成本效益。
内存计算平台为数字集成中心提供动力的能力，使架构师和开发人员能够实现其最复杂、数据密集型物联网应用所需的性能和规模。
所有IoT Agenda网络贡献者都对其帖子的内容和准确性负责。意见是作者的，不一定传达物联网议程的想法。