解决对IOT数据管理的根本挑战

Striim

11月初，我有幸在英特尔的全球物联网开发大会(Global IoT DevFest)上发表演讲，这是一个由网络策划的论坛，为全球的行业思想领袖、创新者、开发人员和爱好者提供了一个平台，以分享知识、展示愿景、进行深度培训和分享现实世界的使用案例和解决方案。

虽然IoT的主题展示了广泛的网络，但每个公司股票的一个元素 - 以及投资如此大量资本和发展努力的原因 - 这是数据是每个公司最有价值的资产。公司不仅仅是连接更多设备并收集更多传感器数据以获取乐趣;他们希望将所有这些数据转化为他们可以使用的信息来进行知情的业务决策。

为了帮助公司从数据中获得最大的价值，我讨论了一些主要挑战在物联网数据管理方面面临的企业企业，以及现代数据架构如何帮助解决这些障碍。

今天，我们看到许多提供关于企业IOT数据的分析的技术 - 但这只能解决方程的一部分。在IoT之前，公司仍然从日志文件，消息队列，事务数据等生成企业数据。此数据仍然非常重要，需要考虑IoT数据。

事实上，为了从物联网数据中获得最大价值，公司需要将其与其他企业数据(无论存储在何处)集成并关联起来，以便组织有一个全面的视角来做出关键的业务决策。

将物联网数据与企业数据集成的挑战在于大量不同的技术在发挥作用。公司需要审视其当前架构中的一切，如数据库、ETL和批处理、数据湖、消息系统等，并决定如何将其遗留技术与新一波物联网设备相结合。其目标是使所有这些技术能够无缝地协同工作，以满足业务需求。

物联网的另一个主要问题是它产生的数据量和发生的速度。一个2017年IDC白皮书预测到2025年，世界将生成160个Zettabytes的数据，从今天的16个Zettabytes。该报告所有指出，到2025年，大约25％的所有数据都是实际的实时。其中25％，95％的IOT将产生。

这里的问题是，基于所有这些生成的数据，只有一小部分可以存储(根据来源的不同，在3-15%之间)——地球上确实没有足够的物理存储来存储所有这些数据。

通过批量捕获，凭借大多数交往物联网数据管理流程的公司，这会导致如何与将来与数据互动的重大困境。

最后，它应该毫不奇怪，安全是IOT空间中的最大挑战之一。随着组织继续利用连接设备进行企业使用，监测和对数字威胁的反应变得越来越困难;企业公司拥有100多种安全技术到位并不少见。

最近,ForeScout发报发现超过一半(52%)的受访安全负责人对物联网安全感到高度焦虑。最令人震惊的发现之一是，当被问及谁应该负责获得物联网时，82%的受访者对所有权没有明确的回答。

复杂的安全技术市场的组合和需要支持的越来越多的连接设备最终导致整个生态系统中不可避免的差距。随着物联网需求的安全水平，公司需要简化的方法来监控其数据并在网络上存在可疑行为时适当有效地反应。

解决IOT数据（以及其他企业数据）的集成，可管理性和安全性的关键是通过流式的第一架构。我们正在进入CPU和内存最终为公司更负担的时间。而不是捕获数据，存储它并稍后分析它，我们现在可以通过在播放的时刻播放和分析它的瞬间来获得来自我们的数据的洞察力，以便在击中磁盘之前击中磁盘。

能够实时地连续收集数据是一个关键的第一步。使用更改数据捕获将数据库转换为数据流使公司能够与遗留技术集成，同时获得现代数据基础架构的好处。

那么这是如何帮助我们与IoT数据管理的三个主要问题？

关于物联网数据与其他企业数据的集成，主要障碍之一是将传统技术注入现代物联网设备以实现无缝工作。通过使遗留技术成为流媒体资源，公司现在有能力在任何数字环境中集成和关联所有数据资产，而无需在孤岛信息上操作，增强了基于上下文和时间做出的决策，而数据仍在运行。

还，实时处理和分析数据可以帮助解决我们已经开始经历的数据危机。在运行中对数据使用的过滤、聚合和关联等工具可以帮助确定哪些与存储最相关，哪些可以丢弃，从而减少存储生成数据的需要。批量捕获是我们技术限制的结果——实时处理数据是数据管理的下一步发展方向。

对于IOT安全性，Streaming-First架构可以实时分析多个端点安全系统“日志和不同的基础架构组件”日志，以识别从单个安全技术不明显的问题或漏洞。在各个安全技术寻找某些利用的情况下，使用异常检测和模式匹配等工具可以评估所有流以找到违规行为和可能的恶意入侵。

建立物联网数据需要成为整体业务生态系统的一部分，现代数据架构使企业能够通过以下方式扩大其数字化转型努力:

要了解更多关于这些优势，你可以观看我的整个全球物联网DevFest演示点击这里。

所有IOT议程网络贡献者负责其帖子的内容和准确性。意见是作者，不一定能够传达物联盟议程的思想。