谷歌推出了一个大数据管道,用于在其云中进行批处理和流处理
旧金山 - 谷歌为10年前为大数据世界做出了重大贡献,当时它发布了关于MapReduce的纸张,这是在Hefty数据集上进行大计算作业的编程模型。但事实证明,这一切都在这一切,谷歌一直在努力更进一步的东西。
在谷歌的每年的I / O Shindig今天,Tech Giant宣布了一项可以做点多大的服务,不仅仅是MapReduce:谷歌云数据流。它可以运行一系列计算作业,批量样式,或者在数据流量中进行常量工作。工程师可以在Google蓬勃发展的公共云中开始使用该服务。谷歌负责管理这件事。
“我们处理所有基础设施和后端工作,要求扩大和缩小,取决于您拥有的数据需求,”Google Cloud Platform营销负责人Brian Goldfarb,在Google I之前在谷歌之前告诉VentureBeat。 / o。
Google Cloud DataFlow是谷歌对公共云市场领导亚马逊网络服务的kinesis流处理服务的回应,该服务于11月首次宣布。该服务是一个更多的工具,可以帮助谷歌在竞争激烈的业务中提供谷歌的云。
近年来,谷歌推出的新服务从谷歌开发,包括用于并行运行数据管道的Flumajava库和铣车流处理框架。
有趣的是,与其他一些公司一样,谷歌已经得到了超过,也是映射的Mapreduce技术。
“这很有趣 - 我们在这里一直在做大量数据,”Goldfarb说。“我们学到了一些事情,我们学到的一个是我们不想再使用mapReduce了。”
使用MapReduce,摄取数据 - 在转换或分析之前 - 可能是艰难且耗时的。通过提供更多连接的设备,提供了立即分析的数据,MapReduce并不是最合适的。时间将更好地花了解分析数据的最佳方式,而不是踢掉长时间的MapReduce作业,并同时用不同的代码来修补,以便使用风暴等开源工具进行流处理。因此,开发新的混合工具。
云数据流已经在Google上显示了价值。
“这是我们所有内部分析的方式,”Goldfarb说。