构建IOT的数据流，AI和机器学习平台
今天的IOT用例越来越依赖于在大量的设备生成数据上实时执行分析或更新机器学习算法。如果患者监测，自治车辆或预测性维护应用的数据没有被摄取，实时加工和采取，患者遭受，车辆崩溃或系统失败。那么企业如何有效地建立一个可靠的平台，以便在规模上摄取和响应大量数据？企业可以使用流平台和内置在开源软件堆栈的数据存储系统来实现。
今天的许多开源解决方案已被证明在数千个生产部署中可靠。许多商业企业的企业级支持和咨询服务可提供商业企业，也可以提供解决方案的企业级版本。这些支持的解决方案使业务能够实现实现数字化转型目标通过实现物联网解决方案，无需大量前期成本，同时还为企业提供可靠的、经得起未来考验的基础设施。下面是一些开源解决方案的样本，它们是当今许多最成功的数字化转换业务的基础。
流数据
开源流解决方案，如Apache Kafka或Apache Flink，用于构建实时数据管道，在物联网部署中跨系统和应用程序移动数据。例如，在患者监测用例中，流解决方案将把连接在患者身上的物联网传感器收集的数据传递到一个平台上，在这个平台上，数据可以被聚合、分析和存储。
Kafka在生产中被Box, LinkedIn, Netflix, Oracle和Twitter使用。Flink被用于阿里巴巴、AWS、Capital One、eBay和Lyft的生产中。然而，为了支持大规模的实时业务流程，流解决方案必须与其他技术集成，包括分布式内存计算平台、容器管理解决方案和分析和机器学习能力。
内存计算
Apache Ignite是一个部署在商用服务器集群上的分布式内存计算平台。它可以用作插入现有应用程序和基于磁盘的数据库之间的内存中数据网格，也可以用作新应用程序的独立内存中数据库。Ignite将集群中可用的cpu和RAM汇聚起来，并将数据和计算分发给各个节点。它可以部署在企业、公共或私有云中，或混合环境中。Ignite支持ANSI-99 SQL和酸交易。
点燃可以实时摄取大量数据。通过剩余的所有数据，Ignite使用MapIte将MapReduce在分布式群集中执行大规模并行处理（MPP）。利用内存中的数据缓存和MPP，点燃提供高达1,000倍的应用程序性能提高，使用基于磁盘的数据库的应用程序性能。IGNITE用户还可以利用本机Kafka集成，使您可以轻松地将从IoT设备传输到内存计算群集中的流数据。
因为我在前一篇文章中讨论过， Ignite可以用来构建一个数字集成中心(DIH)，用于聚合和处理来自多个本地数据存储、基于云的数据源和流数据提要的数据。作为一个DIH, Ignite提供了一个高性能的数据访问层，使聚合的数据可以实时用于多个业务应用程序。美国航空公司(American Airlines)、IBM、荷兰国际集团(ING)和24小时健身(24 Hour Fitness)都在生产中使用“点燃Apache”。
集群管理
Kubernetes可以自动部署和管理在Docker或其他容器解决方案中被容器化的应用程序。容器解决方案创建一个包含应用程序和虚拟化操作系统的包，以支持在相同硬件或跨虚拟化硬件(如云服务)上运行应用程序的多个完全独立的版本。Kubernetes简化了Docker容器的管理，并确保了服务器集群的一致性，这些服务器集群可以部署在任何位置，比如本地、公共或私有云，或者混合环境。
api使Kubernetes能够管理Apache Ignite和流媒体平台资源，并自动扩展基于物联网内存计算的集群。这增加了管理的方便性，可以显著地减少复杂性和错误，并减少开发时间。Kubernetes被用于Booking.com、Capital One、Box、IBM和Sling的生产中。
分析和机器学习
流平台拼图的最后一块是根据数据采取行动的能力。对于分析用例，Apache Spark是一种用于处理和分析大量数据的分布式计算引擎。Spark可以利用Apache Ignite内存计算平台来快速分析通过流管道进行摄取的大量数据。Spark还可以使用Ignite作为在线数据存储，使Spark用户能够将数据追加到其现有的DataFrames或RERun Spark作业。Spark还可以轻松地在分布式计算环境中为非结构化数据写入简单的查询。Spark用于在亚马逊，信用卡玛，eBay，NTT数据和雅虎生产中生产。
对于机器学习用例，Apache Ignite包括集成的、完全分布式的机器学习和深度学习库，这些库已经为大规模并行处理进行了优化。这种集成使企业能够创建持续学习应用程序，机器学习或深度学习算法在内存计算集群的每个节点的内存中本地运行数据。在本地运行算法允许在节点上部署新数据时不断更新模型，即使是pb级的规模。
所有物联网议程网络贡献者对其帖子的内容和准确性负责。观点是作者的，并不一定传达物联网议程的思想。