Fotolia
计划你的物联网实时数据流流程
物联网数据流可以帮助组织在需要立即采取行动的情况下充分利用数据，但IT团队必须具备特定的流程和实践。
物联网数据流促进了对许多操作至关重要的实时决策。组织必须拥有从传感器和设备收集数据、处理数据并将其转移到数据库进行分析和实时结果的工具。
数据流可以通过提示干预的自动警报来提高效率并防止即将发生的灾难。例如，如果传感器读取到冷藏卡车的温度下降，物联网实时数据流和人工智能模型就可以触发农产品有变质危险的警报。组织也可以使用物联网数据流:
- 检测未经授权的网络访问;
- 在故障发生前识别装配线上即将发生的机器故障;或
- 通过一个可以立即通知医生办公室的警报系统，在家中监测患者生命体征的突然变化。
在其他情况下，实时数据流增加了组织的竞争优势。例如，一些服装店安装了智能镜子改善客户体验。有了智能镜子，潜在的顾客可以找到特定的外观，并在虚拟环境中试穿更多的商品，而无需亲自试穿的麻烦。
流分析市场有许多新的用例预期增长根据市场研究机构MarketsandMarkets的数据，从2020年的125亿美元到2025年的386亿美元，复合年增长率为25.2%。物联网应用以及实时绘制和跟踪事件的GPS和地理信息系统的扩展推动了这一数据流市场。
数据流过程是如何工作的
数据流处理过程由三个部分组成:软件、实时运行的操作数据库和能够提取数据以提供见解的分析引擎。在初始数据流部署中，许多组织将所有这些组件拼凑在一起，这需要熟悉流程步骤，并了解流程每个阶段中使用的工具的复杂性。
数据流处理过程由三个部分组成:软件、实时运行的操作数据库和能够提取数据以提供见解的分析引擎。
第一步是通过某种类型的消息代理或消息流软件(如Apache ActiveMQ或Amazon Kinesis数据流)摄取物联网数据。一旦被吸收，提取、转换和加载(ETL)工具准备将数据导入分析数据库;这是一个典型的基于SQL平台的操作数据库。组织必须建立实时分析和机器学习模型以及从数据中提取商业见解的程序。
许多IT部门使用这种方法进行操作，但越来越多的自动化方法和平台已经开始出现。一些数据流和分析平台或服务简化了架构和机制，如Splice Machine SQL数据库和机器学习模型或Confluent平台。
遵循数据流的最佳实践
从头开始创建流程或寻找现成产品的组织应该记住这四个最佳实践。
- 选择狭窄的业务案例。选择特定于物联网数据流的业务案例，以提高效率、节约成本、提高客户满意度或增加收入。例子包括使用物联网数据来识别装配线上哪些机器会出现故障，监控网络端点以防止恶意入侵或跟踪机队的位置。
- 简化了结构。组织可以简化他们的数据流架构，以加快从洞察到流数据的时间，并减少手工编码的数量。像Apache Kinesis数据流这样的工具自动化了数据摄取过程，并为数据到数据库的ETL传输添加了额外的自动化，并且不再需要使用额外的代码来简化这些功能。其他产品，如Splice Machine数据库，可以自动提供测试数据库沙箱，这样用户只需要发出单个命令，而不需要数据分析师手动设置测试数据库。
- 干净的数据。不管使用的数据流架构是什么，干净的数据是必不可少的。数据清理可以在数据摄入时和在ETL工具的处理过程中进行。为了自动化这些过程，组织必须与他们的供应商和供应商的工具集合作，以确保它们满足数据清理的要求。
- 处理接近实时和批处理。并不是每一个分析过程都必须实时执行。一些数据处理可以以周期性的、接近实时的间隔执行，例如每15分钟执行一次。在其他情况下，在白天甚至夜间交付的批处理仍然非常有效。在实现之前，组织应该弄清楚哪些流程需要实时或接近实时的数据收集，并相应地设置工作流。
