旧金山 - 谷歌为10年前为大数据世界做出了重大贡献,当时它发布了关于MapReduce的纸张,这是在Hefty数据集上进行大计算作业的编程模型。但事实证明,这一切都在这一切,谷歌一直在努力更进一步的东西。

在谷歌的每年的I / O Shindig今天,Tech Giant宣布了一项可以做点多大的服务,不仅仅是MapReduce:谷歌云数据流。它可以运行一系列计算作业,批量样式,或者在数据流量中进行常量工作。工程师可以在Google蓬勃发展的公共云中开始使用该服务。谷歌负责管理这件事。

“我们处理所有基础设施和后端工作,要求扩大和缩小,取决于您拥有的数据需求,”Google Cloud Platform营销负责人Brian Goldfarb,在Google I之前在谷歌之前告诉VentureBeat。 / o。

Google Cloud DataFlow是谷歌对公共云市场领导亚马逊网络服务的kinesis流处理服务的回应,该服务于11月首次宣布。该服务是一个更多的工具,可以帮助谷歌在竞争激烈的业务中提供谷歌的云。

近年来,谷歌推出的新服务从谷歌开发,包括用于并行运行数据管道的Flumajava库和铣车流处理框架。

有趣的是,与其他一些公司一样,谷歌已经得到了超过,也是映射的Mapreduce技术。

“这很有趣 - 我们在这里一直在做大量数据,”Goldfarb说。“我们学到了一些事情,我们学到的一个是我们不想再使用mapReduce了。”

使用MapReduce,摄取数据 - 在转换或分析之前 - 可能是艰难且耗时的。通过提供更多连接的设备,提供了立即分析的数据,MapReduce并不是最合适的。时间将更好地花了解分析数据的最佳方式,而不是踢掉长时间的MapReduce作业,并同时用不同的代码来修补,以便使用风暴等开源工具进行流处理。因此,开发新的混合工具。

云数据流已经在Google上显示了价值。

“这是我们所有内部分析的方式,”Goldfarb说。