大幅简化您的物联网数据管道
物联网数据管道是一个简单的概念。首先，从多个传感器收集数据，然后将所有数据转换为通用格式，然后将其存储在数据湖存储中。一旦数据存储在可访问的地方，分析师就可以使用它来提出业务问题的答案。似乎很简单，但是执行并不总是那么容易。平均而言，管道请求的完成范围从数周到几个月不等，导致业务损失和IT成本增加。
物联网数据管道中观察到的最常见模式是企业使用的地方数据湖存储所有数据。但是，缺乏数据可访问性和这些管道体系结构的复杂性的增加会迅速将数据湖变成数据沼泽。
组织通常通过使用脆弱和缓慢的ETL作业将数据湖中的数据复制到数据仓库中，对数据沼泽做出反应，从而使存储成本加倍以维护这些数据副本。然后，数据工程师必须创建立方体或BI提取物，以便分析师可以以交互式速度与之合作。在这种情况下，企业没有完整控制他们的数据。分析师不知道其数据的位置，并且有数十名数据工程师试图保持运行。我们该怎么做才能使事情变得更好？
使用数据湖引擎来利用您的物联网数据的价值
数据湖发动机是软件解决方案或云服务，可通过一组统一的API和数据模型提供分析工作负载和用户，并在广泛的数据源（尤其是对于数据湖存储）中提供直接的SQL访问。虽然听起来很难相信，但数据湖发动机消除了数据湖存储之上数据仓库的需求，因为数据湖发动机允许用户的BI和数据科学工具直接与数据存储在数据湖中。数据工程师和建筑师可以利用数据湖发动机使用自助语义层来介绍BI分析师和数据科学家，他们可以用来查找数据集，对其进行编写自己的查询，并将其用于最终用户应用程序。由于企业可以消除复杂的ETL代码以及缓慢且昂贵的数据复制，因此此过程要简单得多，更快。
简化您的物联网管道的关键元素
基本的管道场景在小的物联网环境中效果很好，每天只捕获数百行测量结果，但是在大型工业环境中，每小时生成数百千兆字节的数据，故事是不同的。在如此大规模的情况下，我们需要担心有多少数据副本，可以访问它们的数据，维护它们需要什么托管服务等等。此外，传统的访问方法，策展，保护和加速数据大规模分解。
幸运的是，还有一种替代方法：一个受管制的自助服务环境，用户可以直接找到并与他们的数据进行交互，从而将时间加速到洞察力并提高整体分析生产率。数据湖发动机为用户提供了使用标准SQL查询来搜索他们想要使用的数据的方法，而无需等待它将其指向正确的方向。此外，数据湖发动机提供了安全措施，使企业能够完全控制数据发生的事情并可以访问数据，从而增加对数据的信任。
物联网数据管道必须快速。否则，当数据传递给分析师时，它会承担被认为已过时的风险。数据过时并不是唯一的问题。增加计算成本和数据科学家离开的前景，因为他们没有数据进行分析也是潜在的问题。数据湖发动机提供了加速查询的有效方法，从而减少了洞察力。
物联网数据有许多不同的形状和格式。因此，由于数据必须经过的转换次数，在将数据置于可以分析的统一格式之前，数据管道的效率降低了。以数据策划，混合或富集为例。这是一个复杂的过程，需要使用ETL代码从源中提取字段，然后通过其他数据库连接提取字段，从其他源中提取我们要融合的字段。最后，将结果数据集复制到第三个存储库中。数据湖引擎通过允许用户利用自助服务环境来减轻这种情况的复杂性，在那里他们可以集成和策划多个数据源，而无需将数据从其原始数据湖存储源中移动。
物联网数据管道已经存在了一段时间；随着年龄的增长，它们往往是僵化，缓慢且难以维持的。使用它们通常需要大量的金钱和时间。简化这些管道可以大大提高数据工程师和数据分析师的生产率，从而使他们更容易专注于从物联网数据中获得价值。经过利用数据湖发动机，企业可以踏上一个更具生产力的路径，其中物联网数据管道可靠且快速，并且分析师和数据科学家总是可以访问IoT数据。数据湖发动机使数据驱动的决策成为可能，提高业务价值，增强运营并提高企业提供的产品和服务的质量。
所有的物联网议程网络贡献者都负责其帖子的内容和准确性。意见是作家的，不一定会传达物联网议程的思想。