Google停用MapReduce，高調(diào)發(fā)布Cloud Dataflow

【編者按】Google I/O大會(huì)正在如火如荼的召開，一些重要的信息也被一一披露，Google技術(shù)基礎(chǔ)設(shè)施部高級(jí)副總裁UrsH?lzle在大會(huì)的主旨演講上表示，當(dāng)數(shù)據(jù)規(guī)模達(dá)到數(shù)PB級(jí)字節(jié)，MapReduce處理起來將變得非常困難，他表示Google已經(jīng)停用MapReduce幾年了，他們目前開發(fā)并發(fā)布了新的超大規(guī)模云分析系統(tǒng)Cloud Dataflow。本文來自DataCenterKnowledge。

免費(fèi)訂閱“CSDN云計(jì)算”微信公眾號(hào)，實(shí)時(shí)掌握第一手云中消息！

CSDN作為國(guó)內(nèi)最專業(yè)的云計(jì)算服務(wù)平臺(tái)，提供云計(jì)算、大數(shù)據(jù)、虛擬化、數(shù)據(jù)中心、OpenStack、CloudStack、Hadoop、Spark、機(jī)器學(xué)習(xí)、智能算法等相關(guān)云計(jì)算觀點(diǎn)，云計(jì)算技術(shù)，云計(jì)算平臺(tái)，云計(jì)算實(shí)踐，云計(jì)算產(chǎn)業(yè)資訊等服務(wù)。

以下為譯文：

2014谷歌I/O上的Google Cloud Platform和Cloud Dataflow

Google已經(jīng)停用自己研發(fā)的，部署在服務(wù)器上，用以分析數(shù)據(jù)的MapReduce，轉(zhuǎn)而支持一個(gè)新的超大規(guī)模云分析系統(tǒng)Cloud Dataflow。 

MapReduce一直是服務(wù)器集群上做并行分布式計(jì)算的一個(gè)非常受歡迎的基礎(chǔ)架構(gòu)和編程模型。它是被廣泛部署并已經(jīng)成為很多公司商業(yè)產(chǎn)品的大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)Hadoop的基礎(chǔ)。

但是近日，這項(xiàng)技術(shù)已經(jīng)不能處理谷歌想要分析的大量數(shù)據(jù)。技術(shù)基礎(chǔ)設(shè)施部高級(jí)副總裁UrsH?lzle表示，一旦數(shù)據(jù)規(guī)模達(dá)到數(shù)PB級(jí)字節(jié)，處理起來將變得非常困難。

“我們已經(jīng)不再使用MapReduce。”H?lzle在周三于舊金山舉行的谷歌I/O大會(huì)上發(fā)表主題演講時(shí)表示，公司已經(jīng)在幾年前停止使用這個(gè)系統(tǒng)。

Cloud DataFlow，將作為一項(xiàng)服務(wù)提供給使用它們?cè)品?wù)的開發(fā)者，這些服務(wù)并沒有MapReduce的擴(kuò)展限制。

“Cloud Dataflow是這近十年分析經(jīng)驗(yàn)的成果。”H?lzle說，它將會(huì)比現(xiàn)存的所有的系統(tǒng)運(yùn)行的更快，更易擴(kuò)展。

“這是一個(gè)完全托管服務(wù)，它可以自動(dòng)優(yōu)化、部署、管理以及擴(kuò)展。它使開發(fā)人員對(duì)批處理和流媒體服務(wù)能夠使用統(tǒng)一編程輕松地創(chuàng)建復(fù)雜的管道。“他表示。

所有這些特點(diǎn)，谷歌認(rèn)為在MapReduce上無法完成：很難迅速獲取數(shù)據(jù)，不能進(jìn)行批處理和流處理，而且經(jīng)常需要部署和運(yùn)行MapReduce集群。

H?lzle在展示會(huì)上也宣布谷歌云平臺(tái)上其他一些新的服務(wù)：

• Cloud Save是一個(gè)API，它使應(yīng)用程序能夠在云中或其他地方保存單個(gè)用戶的數(shù)據(jù)而不需要任何服務(wù)器端的編碼。 提供App Engine的PaaS用戶和提供Compute Engine的用戶都可以利用這特征構(gòu)建App。
• Cloud Debugging 簡(jiǎn)化了篩選出部署在云端的多臺(tái)服務(wù)器中的軟件缺陷的過程。
• Cloud Tracing 提供了不同群體（數(shù)據(jù)庫服務(wù)調(diào)用，例如等待時(shí)間）的延時(shí)統(tǒng)計(jì)數(shù)據(jù)以及分析報(bào)告。
• Cloud Monitoring 是一款與Stackdriver（谷歌5月份收購的一個(gè)云監(jiān)控初創(chuàng)公司）集成的智能監(jiān)控系統(tǒng)。該系統(tǒng)監(jiān)控云基礎(chǔ)設(shè)施資源，如磁盤和虛擬機(jī)，還有一些為谷歌提供服務(wù)的服務(wù)等級(jí)以及十幾個(gè)非谷歌提供的開源軟件包。

原文鏈接：Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System （編譯/曉曉 審校/魏偉）

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)