Google 的大数据 Dataflow 和 Pub/Sub 全面可用

一则或许对你有用的小广告

欢迎加入小哈的星球 ,你将获得:专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡/ 赠书活动

目前,正在 星球 内带小伙伴们做第一个项目:全栈前后端分离博客项目,采用技术栈 Spring Boot + Mybatis Plus + Vue 3.x + Vite 4手把手,前端 + 后端全栈开发,从 0 到 1 讲解每个功能点开发步骤,1v1 答疑,陪伴式直到项目上线,目前已更新了 204 小节,累计 32w+ 字,讲解图:1416 张,还在持续爆肝中,后续还会上新更多项目,目标是将 Java 领域典型的项目都整上,如秒杀系统、在线商城、IM 即时通讯、权限管理等等,已有 870+ 小伙伴加入,欢迎点击围观

谷歌的整套大数据工具现已普遍可用。昨天,谷歌在其 云平台博客 上透露,谷歌云平台上目前的两款数据分析产品 Dataflow 和 Pub/Sub 将全面上市。

在之前的测试版中, Dataflow 在构建时考虑到了 MapReduce、FlumeJava 和 MillWheel。它旨在通过提供统一的编程模型来处理“为批处理和流数据源开发单独系统的复杂性”。 Dataflow 提供大数据的批处理和流处理。

谷歌的数据流

Cloud Pub/Sub 除了集成服务和应用程序之外,还实时分析大数据流。它拥有单一的 API,并声称“具有成本效益”、快速且可扩展。

对于这家科技巨头来说,这是重要的一周。除了宣布以 Alphabet 为幌子转移部分业务外,谷歌还任命桑达尔·皮查伊 (Sundar Pichai) 为其最新任首席执行官。然而,前首席执行官拉里佩奇并没有走得太远——他将接任 Alphabet 的首席执行官。 Alphabet 将成为谷歌的“母公司”,负责监督 Google X 实验室、Calico、Fiber 和 Nest 的开发。谷歌的“核心业务,如搜索、广告、地图、Android、YouTube 和‘相关技术基础设施’”将保留在谷歌名称下。

在其 Pub/Sub 和 Dataflow 发布的同一天,Google Cloud 成为首批与新的 Cloudera Director 1.5 集成的公司之一。在 Cloudera 的博客 上宣布,Cloudera Director 1.5 被吹捧为“用于在云环境中部署和管理企业级 Hadoop 的集成解决方案”。 Google Cloud 通过 Director 的开放 API 加入了 Cloudera。 Cloudera 还完善了其生产级功能,包括“启用集群的高可用性和安全性的 Kerberos 集成”。

此外,据 ZDNet 的 Rachel King 报道,Cloudera 的 Hadoop 现已通过 Google Cloud Platform 认证。