董西成：Hadoop將在高速發(fā)展和完善中擴(kuò)大優(yōu)勢(shì)！

2014年05月20日，CSDN攜手ChinaHadoop小象社區(qū)將打造一場(chǎng)涵蓋分布式在線存儲(chǔ)系統(tǒng)HBase、數(shù)據(jù)倉(cāng)庫(kù)Hive、Hadoop在電信運(yùn)營(yíng)商的應(yīng)用實(shí)踐等內(nèi)容的“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”高端技術(shù)培訓(xùn)。
         

此次“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”培訓(xùn)的起因很簡(jiǎn)單，時(shí)下數(shù)據(jù)已經(jīng)成為當(dāng)今企業(yè)的核心競(jìng)爭(zhēng)力，擁有大數(shù)據(jù)并智慧地使用和運(yùn)營(yíng)數(shù)據(jù)成為企業(yè)不可缺少的成功要素。Hadoop生態(tài)系統(tǒng)提供了一種實(shí)用的、經(jīng)濟(jì)有效的、可擴(kuò)展的架構(gòu)，幫助企業(yè)存儲(chǔ)、管理和處理海量數(shù)據(jù)。業(yè)界在Hadoop上的興趣和投資形成了包括開(kāi)源軟件和商業(yè)化軟件的整個(gè)生態(tài)系統(tǒng)，Hadoop迅速成為大數(shù)據(jù)處理方面的業(yè)界事實(shí)標(biāo)準(zhǔn)。越來(lái)越多的企業(yè)急需引入Hadoop技術(shù)人才！于是CSDN攜手ChinaHadoop小象社區(qū)共同打造了此次“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”！

在本次培訓(xùn)開(kāi)始前，我和本次培訓(xùn)的講師董西成做了一次簡(jiǎn)單的溝通，他表示將會(huì)在5月20日“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”和大家分享一些Hadoop一些典型的應(yīng)用案例，主要包括HDFS、YARN和MapReduce三個(gè)系統(tǒng)，包括產(chǎn)生背景、基本的架構(gòu)及使用方法，典型的應(yīng)用案例等。報(bào)名點(diǎn)擊！

董西成         ChinaHadoop小象社區(qū)核心成員
嘉賓介紹：《Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》和《Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》作者。資深Hadoop技術(shù)實(shí)踐者和研究者，曾參與商用Hadoop原型研發(fā)，以及分布式日志系統(tǒng)、全網(wǎng)圖片搜索引擎、Hadoop調(diào)度器等項(xiàng)目的設(shè)計(jì)與研發(fā)。

以下是記者采訪原文：

-什么原因吸引你鉆研Hadoop技術(shù)？
我最初開(kāi)始研究Hadoop是在研究生階段。當(dāng)時(shí)剛進(jìn)入實(shí)驗(yàn)室做項(xiàng)目，第一個(gè)項(xiàng)目就是Hadoop優(yōu)化相關(guān)的，之后Hadoop一直伴隨著我，它的開(kāi)放性、架構(gòu)設(shè)計(jì)巧妙、參與者眾多、更新速度快等優(yōu)點(diǎn)吸引著我，是我一直持續(xù)研究Hadoop的動(dòng)力。目前絕大部分互聯(lián)網(wǎng)公司在使用Hadoop，它已經(jīng)成為一個(gè)“公共標(biāo)識(shí)”或者“公共語(yǔ)言”，讓不同背景、不同經(jīng)歷的技術(shù)人員饒有興致地交流和溝通，且在交流中一起成長(zhǎng)，一起收獲成就感。

-對(duì)于解決哪些問(wèn)題Hadoop獨(dú)具優(yōu)勢(shì)？
目前Hadoop已經(jīng)涵蓋了大部分互聯(lián)網(wǎng)應(yīng)用場(chǎng)景，尤其是Hadoop YARN出現(xiàn)之后，很多系統(tǒng)可以跟Hadoop友好地結(jié)合起來(lái)，共同完成之前難以完成的任務(wù)。總起來(lái)說(shuō)，目前Hadoop涵蓋了從數(shù)據(jù)收集、到分布式存儲(chǔ)，再到分布式計(jì)算的各個(gè)領(lǐng)域，在各領(lǐng)域都有自己獨(dú)特優(yōu)勢(shì)：

• 數(shù)據(jù)收集：Hadoop提供了分布式收集工具，包括Flume、Sqoop等，可以從分布式離散的數(shù)據(jù)源（WEB服務(wù)、傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)等）中收集數(shù)據(jù)，導(dǎo)入中央化的存儲(chǔ)系統(tǒng)中。
• 分布式存儲(chǔ)：包括無(wú)結(jié)構(gòu)化存儲(chǔ)HDFS、半結(jié)構(gòu)化存儲(chǔ)HBase等，滿足大部分離線存儲(chǔ)和在線存儲(chǔ)需求，隨著HDFS本身的完善（比如新特性HDFS Cache、支持異構(gòu)存儲(chǔ)介質(zhì)等）和新型存儲(chǔ)文件格式的出現(xiàn)（包括ORCFile、Parquet等），HDFS將越來(lái)越強(qiáng)大。
• 分布式計(jì)算：在Hadoop 1.0時(shí)代，Hadoop主要還是面向離線批處理計(jì)算的，隨著Hadoop 2.0的出現(xiàn)及穩(wěn)定，它已經(jīng)逐步開(kāi)始支持交互式計(jì)算和實(shí)時(shí)計(jì)算，尤其是Hadoop YARN出現(xiàn)后，可以允許多種類(lèi)型的計(jì)算任務(wù)運(yùn)行在一個(gè)集群中，用戶(hù)也可以根據(jù)自己需要開(kāi)發(fā)適合自己的計(jì)算框架。總之，Hadoop在高速發(fā)展和完善中，它在不斷擴(kuò)展自己的優(yōu)勢(shì)。

-目前企業(yè)應(yīng)用Hadoop最大的困難是什么？
不同類(lèi)型的企業(yè)遇到的困難不一樣，對(duì)于一些中小型互聯(lián)網(wǎng)公司由于它們的Hadoop技術(shù)人員數(shù)量有限，當(dāng)需要運(yùn)維Hadoop生態(tài)系統(tǒng)中多個(gè)系統(tǒng)且要對(duì)它們進(jìn)行升級(jí)時(shí)，會(huì)遇到較大的困難。這主要是Hadoop更新速度過(guò)快，會(huì)不斷有新特性和新功能出現(xiàn)，而這些新特性和功能往往缺乏文檔說(shuō)明，通常需要平臺(tái)維護(hù)和開(kāi)發(fā)人員通過(guò)追蹤代碼了解新增特性的實(shí)現(xiàn)細(xì)節(jié)和配置方法，這是一件極具挑戰(zhàn)和極耗精力的事情。
對(duì)于傳統(tǒng)非互聯(lián)網(wǎng)公司，它們遇到的困難可能有：

• 根據(jù)自己的應(yīng)用類(lèi)型選擇相應(yīng)的Hadoop解決方案 。
• 如何將現(xiàn)有架構(gòu)遷移到Hadoop上 。
• 如果之前使用的商用軟件替換為Hadoop后，自己如何維護(hù)和管理Hadoop等。

-根據(jù)您的了解，目前Hadoop發(fā)展的情況如何？
目前Hadoop發(fā)展迅猛，尤其是Hadoop 2.0出現(xiàn)后，HDFS和YARN兩個(gè)系統(tǒng)均有多個(gè)重大特性得到了實(shí)現(xiàn)，進(jìn)而推動(dòng)了上層計(jì)算系統(tǒng)的發(fā)展，包括Tez的出現(xiàn)，使得Hive和Pig有了更大的性能提升，出現(xiàn)了各種基于YARN的新型框架等。

-請(qǐng)談?wù)勀阍谶@次Hadoop培訓(xùn)上即將分享的話題。
在這次Hadoop培訓(xùn)上，我主要分享一些Hadoop基礎(chǔ)知識(shí)和一些典型的應(yīng)用案例，主要包括HDFS、YARN和MapReduce三個(gè)系統(tǒng)，介紹這幾個(gè)系統(tǒng)的基礎(chǔ)，包括產(chǎn)生背景、基本的架構(gòu)及使用方法，典型的應(yīng)用案例等，當(dāng)然，還會(huì)介紹它們最近發(fā)展動(dòng)態(tài)和趨勢(shì)，對(duì)于把握Hadoop技術(shù)發(fā)展趨勢(shì)有一定指導(dǎo)作用。

-哪些人群應(yīng)該來(lái)參加本次培訓(xùn)？會(huì)對(duì)他們有哪些幫助？
這次培訓(xùn)主要面向正準(zhǔn)備試用Hadoop的公司和Hadoop初中級(jí)學(xué)者。該培訓(xùn)可以為那些想了解Hadoop是什么、可以做什么、有哪些成功案例的人群，在Hadoop技術(shù)選型、Hadoop技術(shù)架構(gòu)設(shè)計(jì)特點(diǎn)、Hadoop應(yīng)用等方面給予指導(dǎo)。

更多精彩盡在2014年5月20日“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”培訓(xùn)，目前報(bào)名可享受三人成團(tuán)優(yōu)惠價(jià)！馬上報(bào)名！

往期采訪：

冼茂源：HBase在垂直搜索業(yè)務(wù)以及數(shù)據(jù)存儲(chǔ)中的應(yīng)用！

以“ 云計(jì)算大數(shù)據(jù) 推動(dòng)智慧中國(guó) ”為主題的 第六屆中國(guó)云計(jì)算大會(huì) 將于5月20-23日在北京國(guó)家會(huì)議中心隆重舉辦。產(chǎn)業(yè)觀察、技術(shù)培訓(xùn)、主題論壇、行業(yè)研討，內(nèi)容豐富，干貨十足。 需要購(gòu)買(mǎi)的朋友，請(qǐng)抓住這最后的機(jī)會(huì)，點(diǎn)擊報(bào)名！

生活不易，碼農(nóng)辛苦
如果您覺(jué)得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)