管理 学会应用最佳实践并优化您的操作。

如何使IoT数据成为执行资产

我们生产的数据量是真正思维令人难以置信的。这种数据涌入由组织和消费者每天使用的所有连接设备生成。到2020年,它预测将有近3073亿个IOT连接设备。

从IoT设备生成的数据仅在分析它时才有用。由于这种数据非常非结构化,因此几乎不可能使用传统分析它商业智慧(BI)工具和分析软件,因为这些工具被设计用于分析结构化数据。

组织通常将这种类型的数据置于数据湖泊,例如亚马逊S3,Azure Data Lake Storage或Hadoop。这意味着分析师需要在可以查询它之前找到一个新的数据集。因此,许多分析师将此IOT数据留下了未触及的,并且在数据湖中的野生群体作为表现不佳的资产。为了真正充分利用此IOT数据,组织需要弄清楚如何从数据湖泊中捕获这些数据并进入分析工具。

使用低成本对象商店

幸运的是,对象商店可以通过提供大规模可扩展,经济高效的存储来帮助分解数据芯盘,以以其本机格式收集任何类型的数据。这对于通常与IOT相关的大量数据尤其重要。但是有一个捕获量:对象存储不与计算电源耦合,因此您需要一个数据湖引擎来分析数据。使用权利数据湖发动机大量简化了东西。理想情况下,您想要直接在数据湖上执行分析的东西,从而减少提取,转换和负载以及数据仓库以及更换多维数据集和提取的需求。即使您正在使用本地数据湖,仍然是真的,尽管这里有更多选项。

您还需要一些支持可用于交互式分析的标准SQL的东西。数据消费者需要临时查询,低延迟,高并发性,工作负载管理,BI工具集成等功能,以及能够使用SQL的鲁棒性和灵活性来使用任何源的任何数据。对于大多数组织,SQL是用户已知的最流行的数据访问语言。

不需要供应商锁定的自助服务数据平台

自助和协作是赋予数据消费者独立的关键。无论将存储数据的底层存储库以及如何存储该数据,都应使任何分析师能够在一个地方访问所有所需数据。该平台应为自助服务数据访问实施统一数据层,因此用户可以从许多不同类型的存储库中检索多种物理数据集,例如IoT数据,大数据和客户数据,无论其格式还是在哪里it’s located. If you have data stored in data warehouses, data lakes,NoSQL存储库或文件系统,数据平台应该能够通过他们最喜欢的工具(如Tableau和Python)而轻松访问它。这将创建可以访问的彻底宽阔的数据景观。

基于Apache Arrow的内存柱状发动机可以在所使用的查询速度,内存和计算资源中提供最大效率。许多不同的发动机可以访问一个内存的表示。这种共享避免了序列化,从而减慢了内存数据存储。

还要查找以打开格式存储元数据和缓存数据,如木质地板。使用要求将副本进行到另一个服务的副本 - 或者进入专有数据格式 - 导致高费用和 - 由于许多这些服务费用,以便从数据中获取洞察力。

一个基础设施基于开源为企业提供了几个重点福利,包括更高的安全性,更彻底的审查代码,没有供应商锁定和更快的开发周期,这些循环源于开源贡献者社区的工作。

物联网安全至关重要

与IoT数据和云服务有许多安全挑战。数据泄露的体积增长,规模和影响。根据IBM的研究,在过去五年中,数据泄露的成本在12%上升,而现在平均成本为3920万美元。由于数字和物理世界之间的连接性,以及IOT和AI技术部署的加速,有许多用于网络攻击的途径。

另一个问题是,通常存在从传感器到云的不安全的数据流。请记住,IOT堆栈的传输层只有两个标准化协议:TCP和用户数据报协议。这些协议可以通过各种方法攻击。此外,分析系统通常从组织的许多不同地区带来敏感数据,是网络犯罪的自然目标。

有效的安全运作要求保持领先于威胁。为确保您的IoT安全性是可靠的和最新的,请查看可以通过基于角色的权限扩展安全选项的平台,以及使用虚拟数据集限制屏蔽数据访问,同时让团队帮助自己。

最后的想法

为了真正使IoT数据成为执行资产,寻找一个平台,该平台将为用户提供与任何源的数据库和安全访问数据,而无需创建数据副本。通过消除需要移动和复制数据,数据消费者可以轻松发现和策划数据使用他们喜欢的工具,而无需依赖于其数据请求。这种类型的开源数据平台赋予业务分析师和数据科学家在其数据分析中自我指导,因此公司从他们的数据中获得更多价值IOT数据, 快点。

所有IOT议程网络贡献者负责其帖子的内容和准确性。意见是作者,不一定能够传达物联盟议程的思想。

搜索CIO.
搜索安全
搜索联网
搜索数据中心
搜索数据管理
关闭