物联网数据分析大数据的刺激下的扩张

大数据扩展

思科(csco . o:行情)的网讯单位安装了一个Hadoop集群三年前从移动设备和电脑存储数据,连接到其网络和视频会议服务。最初开发一些独立的分析应用程序单个部门、网讯在2014年初采用一个统一的策略,跟踪使用情况,分析性能和诊断技术问题的结束和客户网络。但今年,思科——总部位于加利福尼亚州圣何塞,扩大了Hadoop系统并增加额外的大数据工具。扩张促使新类型的分析等增加数据加载相当于多个字节日报》总收集接近拍字节。

我们知道有内在价值的数据。我们只是不知道如何开启这一价值。

主任乔·优网讯的云服务平台和工具,说他的团队30节点添加到Cloudera-based集群在秋天,提高总到超过100个节点。去年夏天,网讯开始使用Apache卡夫卡消息队列技术更快饲料遥测数据到Hadoop集群和其他系统支持实时性能监测和报警。此外,会议单位开始使用火花过滤传入的数据流到分析和权力的子集原型机器学习应用程序旨在改善其检测欺诈电话的能力。基础设施还包括卡桑德拉,用来存储事件日志诊断,Oracle数据库持有meeting-history数据。前端,网讯主要依靠Platfora Hadoop-based分析工具,加上画面和Excel为业务用户。

越来越多的技术选项使组织更喜欢网讯做物联网数据比之前。但管理Hadoop,火花和相关开源工具可以是一个挑战,公司说,指着bug和管理缺陷部分原因是快节奏的开发和更新他们的这些技术和商业版本。

寻找新功能之间的平衡与稳定,网讯通常保持一个版本背后的最新版本的技术的使用。“我们是一个业务团队,所以我们不能前沿,”公司表示。但他补充说,密切关注发展计划和大数据趋势在这样一个快速变化的环境中是至关重要的。“这是我们要做的重要组成部分作为一个团队,不仅使系统运行,展望未来,接下来会发生什么。”

物联网数据分析仍是早期采用者的省份。根据一项TDWI调查进行了2015年5月,303年只有16%的受访者表示,他们的组织被分析物联网数据。另有33%的人认为可能的举措被认为是(见图1)。但在第四季度“炒作周期”物联网报告发表在7月,咨询和市场调研公司Gartner预测,大多数物联网数据分析技术和流程还需要5至10年远离主流应用。有很好的理由。Gartner分析师写道,部署物联网构成巨大挑战并通常需要投资在一个“艰巨的数组”的技术,加上新的数据管理和分析技能。

解析pb的数据

对于许多公司来说,物联网的数据量可以提供带他们到一个全新的加工领域。“我们收集数据以非常不同寻常的利率,至少在我的世界里,”约翰·戴克说,全球的软件业务开发总监罗克韦尔自动化公司。

过去三年,自公司建立了一个基于微软的新架构Azure云平台捕获数据在设备和工厂操作生产控制系统在客户的网站。戴克表示,超过100家公司石油和天然气工业和各种制造垂直目前使用云设置;罗克韦尔大约三分之二的管理和分析数据,而其他人处理这些任务。

罗克韦尔的数据存储在云架构已经措施”个位数pb总的来说,"戴克说。金额由个人个以工厂为家的设备很容易处理。但是收集信息从一千件设备在工厂很多次每秒,重复这一过程跨多个设备和不同的客户——是“一个完全不同的故事,”他说。“我们花了一段时间地址和工作。”

约翰·戴克

最终,该公司创建了一个日程管理类似于发货清单收集过程;它还内置缓冲和转发机制,确保数据收集“即使网络管道狭窄或脱机时,“戴克解释道。之后,最初单纯依赖微软的关系SQL Azure数据库,罗克韦尔去年添加HDInsight——供应商的Hadoop分布作为一个阶段的库来提高其处理所有输入数据的能力。

工业自动化公司也利用Hadoop系统,随着微软Azure机器学习分析技术,帮助超越传统的性能监视和发展预测模型,可以公开前可能出现的设备故障发生。罗克韦尔运行试点项目与六个客户,戴克说。在过去,他补充说,预见性维护“几乎是一个白日梦”,因为大多数制造商离开了由不同的设备生成的数据在孤立的数据库中。但是现在,接触到更大的数据池,罗克韦尔的数据科学家正在建造自动化算法,戴克说,“正在预测我们可以有信心。”

这种算法需要的当前和历史数据,并获得所有这些孤立的生产数据库的历史数据需要一个健壮的架构。“如果需要你摄取三年六个月的历史,这是一个障碍,”亚历克斯·贝茨承认在软件供应商Mtell联合创始人兼首席技术官。2015年3月,该公司宣布了平台相结合预见性维护应用程序与基于Hadoop分布数据存储库MapR技术。

当然,并非所有的数据的物联网必然是黄金。像IMS、自动实验室公司销售设备,插进板载诊断在汽车和收集数据来跟踪车辆性能指标。设备返回所有可用的端口,每天总计数百万行数据,根据罗布·弗格森,旧金山软件工程公司的副总裁。

罗伯•弗格森

数据进入一个Amazon Simple Storage Service(Amazon S3)存储库进行处理和分析的基于云计算的集群运行砖”版本的火花。但是不是所有的数据。“现在,我们收集更多的数据比我们知道该怎么做,”弗格森说。

他补充说,自动实验室想抓住尽可能多的信息,在一定程度上使更高级的分析应用程序为新基于使用保险和车队管理服务启动。但是为了防止公司的S3存储大小的失控,弗格森的球队过滤掉一些数据”在这种情况下,我们越来越比信号噪音。”For example, he said voltage data has been skewed by the growing use of hybrid cars such as the Toyota Prius.

至于IMS,数以亿计的数据收集从汽车不加起来是一个巨大的数量的字节。戴尔表示,该公司拥有75字节的系统。最初,然而,IMS将数据分散到不同的环境不同的保险公司处理。把所有的信息放在卡桑德拉的数据库,使其一致而不影响数据的完整性”提前比我们预期的更大的挑战,”他说。

现在,该公司正在使用集中式存储库,推动新分析计划。除了旅行报告发送到智能手机的驱动程序(参见图2),IMS在9月发布一组分析工具和仪表板允许保险公司基于跟踪他们的保险计划和识别驾驶行为可能引发保险政策的变化。

戴尔的团队还推出了一个1.0版本的分析工具对内部业务和金融业务用户。“我们一直相当锁定在他们能做什么,”他说,补充说他想确保升级架构可以处理额外的工作负载。他计划在2016年初,将第二个版本给内部用户更多的自由来运行查询卡桑德拉系统。和新的数据库和测试,戴尔说,他现在相信,IMS”不需要提取数据到另一个数据存储分析。”

对于许多其他组织试图利用物联网数据分析,然而,挑战各种大数据平台和分析工具相结合的体系结构,可以站起来的大量信息才刚刚开始。