葉琪：Hadoop不是萬能的 要明確場(chǎng)景揚(yáng)長避短

2014年05月20日，CSDN攜手ChinaHadoop小象社區(qū)將打造一場(chǎng)涵蓋分布式在線存儲(chǔ)系統(tǒng)HBase、數(shù)據(jù)倉庫Hive、Hadoop在電信運(yùn)營商的應(yīng)用實(shí)踐等內(nèi)容的“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”高端技術(shù)培訓(xùn)。

此次“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”培訓(xùn)的起因很簡(jiǎn)單，時(shí)下數(shù)據(jù)已經(jīng)成為當(dāng)今企業(yè)的核心競(jìng)爭(zhēng)力，擁有大數(shù)據(jù)并智慧地使用和運(yùn)營數(shù)據(jù)成為企業(yè)不可缺少的成功要素。Hadoop生態(tài)系統(tǒng)提供了一種實(shí)用的、經(jīng)濟(jì)有效的、可擴(kuò)展的架構(gòu)，幫助企業(yè)存儲(chǔ)、管理和處理海量數(shù)據(jù)。業(yè)界在Hadoop上的興趣和投資形成了包括開源軟件和商業(yè)化軟件的整個(gè)生態(tài)系統(tǒng)，Hadoop迅速成為大數(shù)據(jù)處理方面的業(yè)界事實(shí)標(biāo)準(zhǔn)。越來越多的企業(yè)急需引入Hadoop技術(shù)人才！于是CSDN攜手ChinaHadoop小象社區(qū)共同打造了此次“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”！

在本次培訓(xùn)開始前，我和本次培訓(xùn)的講師葉琪做了一次簡(jiǎn)單的溝通，他表示將會(huì)在5月20日“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)” 就Haodop系統(tǒng)的規(guī)劃設(shè)計(jì)、建設(shè)、運(yùn)維等方面分享下這幾年我在電信行業(yè)的Hadoop實(shí)施心得。報(bào)名點(diǎn)擊！

以下是采訪原文：

-什么原因吸引你鉆研Hadoop技術(shù)？

在Hadoop的世界里能遇到各種系統(tǒng)最底層最復(fù)雜的技術(shù)問題，這是最吸引我長期鉆研的最大動(dòng)力。我的職業(yè)生涯經(jīng)歷過幾個(gè)不同類型的產(chǎn)品，但大多屬于Application層面的，完全不涉及OS、文件系統(tǒng)、內(nèi)存管理、網(wǎng)絡(luò)通信等核心技術(shù)，當(dāng)我有一天有幸開始從事Hadoop這個(gè)產(chǎn)品并逐漸去研究它的內(nèi)核代碼時(shí)，我發(fā)現(xiàn)這里有所有我最感興趣的話題，于是自己開始不可救藥的愛上它了。

-對(duì)于解決哪些問題Hadoop獨(dú)具優(yōu)勢(shì)？

Hadoop不是萬能的，不能解決所有的大數(shù)據(jù)需求，自身也還有安全、實(shí)時(shí)性、SQL能力等諸多缺陷，所以一定明確需求和使用場(chǎng)景，用其長棄其短。

在電信行業(yè)里，Hadoop最適合處理網(wǎng)絡(luò)信令、上網(wǎng)話單、業(yè)務(wù)日志這三類數(shù)據(jù)，這三類數(shù)據(jù)的最大特點(diǎn)是量大（每天可以達(dá)到1T以上）、結(jié)構(gòu)化（有明確的字段含義）、存儲(chǔ)時(shí)間長（長達(dá)1年及以上），使用Hive+MapReduce、HBase等組件剛好能滿足統(tǒng)計(jì)匯總、點(diǎn)查詢等基礎(chǔ)需求，能替代大部分IOE產(chǎn)品并與其互補(bǔ)，因此在這些場(chǎng)景下Hadoop獨(dú)具優(yōu)勢(shì)。

-目前企業(yè)應(yīng)用Hadoop最大的困難是什么？

我覺得最主要的還是SQL，傳統(tǒng)企業(yè)應(yīng)用都是SQL方式連接數(shù)據(jù)庫，因此遷移到Hive QL和HBase之上會(huì)面臨表結(jié)構(gòu)變化和接口適配的問題，其次是人員技能問題，這些都是企業(yè)應(yīng)用Hadoop的最大障礙。

-根據(jù)您的了解，目前Hadoop發(fā)展的情況如何？

Hadoop從互聯(lián)網(wǎng)行業(yè)起步，已經(jīng)獲得了廣泛的共識(shí)和巨大成功。這種成功已經(jīng)成為示范效應(yīng)而擴(kuò)散到其他傳統(tǒng)行業(yè)，當(dāng)前正在劇變期的是電信行業(yè)，各類傳統(tǒng)存儲(chǔ)技術(shù)都面臨升級(jí)到Hadoop的趨勢(shì)；接下來是金融行業(yè)，現(xiàn)在的金融行業(yè)就像2年前的電信行業(yè)，處于萌芽期，一旦有了成功案例的“星星之火”，會(huì)馬上掀起一股“燎原之勢(shì)”。

-請(qǐng)談?wù)勀阍谶@次Hadoop培訓(xùn)上即將分享的話題。

目前國內(nèi)已經(jīng)有很多不錯(cuò)的論壇和技術(shù)博客，對(duì)Hadoop的各方面內(nèi)核技術(shù)有很多的分析；所以我不打算重復(fù)這些內(nèi)容，而打算就Haodop系統(tǒng)的規(guī)劃設(shè)計(jì)、建設(shè)、運(yùn)維等方面分享下這幾年我在電信行業(yè)的Hadoop實(shí)施心得。

-哪些人群應(yīng)該來參加本次培訓(xùn)？會(huì)對(duì)他們有哪些幫助？

打算或即將在企業(yè)內(nèi)實(shí)施Hadoop系統(tǒng)的IT部門主管、系統(tǒng)架構(gòu)師是我本次培訓(xùn)課題的目標(biāo)對(duì)象。這些人群對(duì)Hadoop有一些初步的認(rèn)識(shí)，但沒有能力自主規(guī)劃建設(shè)一個(gè)生產(chǎn)級(jí)的Hadoop集群并將其運(yùn)維好，也沒有能力甄別應(yīng)該選擇哪個(gè)Hadoop發(fā)行版或哪些技術(shù)供應(yīng)商來幫助他們建設(shè)好這個(gè)系統(tǒng)。

更多精彩盡在2014年5月20日“Hadoop在企業(yè)中的應(yīng)用實(shí)戰(zhàn)”培訓(xùn)，目前報(bào)名可享受三人成團(tuán)優(yōu)惠價(jià)！馬上報(bào)名！

往期采訪文章：

董西成：Hadoop將在高速發(fā)展和完善中擴(kuò)大優(yōu)勢(shì)！

冼茂源：HBase在垂直搜索業(yè)務(wù)以及數(shù)據(jù)存儲(chǔ)中的應(yīng)用！

以“ 云計(jì)算大數(shù)據(jù) 推動(dòng)智慧中國 ”為主題的 第六屆中國云計(jì)算大會(huì) 將于5月20-23日在北京國家會(huì)議中心隆重舉辦。產(chǎn)業(yè)觀察、技術(shù)培訓(xùn)、主題論壇、行業(yè)研討，內(nèi)容豐富，干貨十足。 需要購買的朋友，請(qǐng)抓住這最后的機(jī)會(huì)，點(diǎn)擊報(bào)名！

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)