培訓(xùn)：用SQL-on-Hadoop構(gòu)建互聯(lián)網(wǎng)數(shù)據(jù)倉庫與商務(wù)智能系統(tǒng)

【CSDN培訓(xùn)】大數(shù)據(jù)是現(xiàn)在非常熱門的一個話題，SQL on Hadoop是目前大數(shù)據(jù)技術(shù)發(fā)展的一個重要方向，如何可以迅速的了解掌握這門技術(shù)，CSDN特地邀請梁堰波來為我們做這次講座“用SQL-on-Hadoop構(gòu)建互聯(lián)網(wǎng)數(shù)據(jù)倉庫與商務(wù)智能系統(tǒng)”，通過對業(yè)務(wù)需求與SQL-on-Hadoop現(xiàn)狀的分析，詳細(xì)闡述SQL on Hadoop中各個技術(shù)點，分享一線的經(jīng)驗實踐，幫助從業(yè)技術(shù)人員更快的掌握相關(guān)技術(shù)要點，少走彎路。

對于一個工程師或者分析師來說，如何查詢和分析TB/PB級別的數(shù)據(jù)是在大數(shù)據(jù)時代不可回避的問題。SQL on Hadoop就成為了一個重要數(shù)據(jù)分析與挖掘工具。此時可能會有疑問，為什么非要把SQL放到Hadoop上？ 因為SQL易于使用；那為什么非得基于Hadoop呢？因為Hadoop架構(gòu)具備很強的魯棒性和可擴展性。

梁堰波表示大數(shù)據(jù)時代，數(shù)據(jù)的價值是所有企業(yè)都能看見的寶貴財富，大數(shù)據(jù)的核心也是將有效數(shù)據(jù)從海量的數(shù)據(jù)中挖掘分析出來，從而利用有效數(shù)據(jù)創(chuàng)造價值。在互聯(lián)網(wǎng)企業(yè)和有大數(shù)據(jù)處理需求的傳統(tǒng)企業(yè)中，基于Hadoop構(gòu)建的數(shù)據(jù)倉庫的數(shù)據(jù)來源主要有通過Apache/Nginx的日志收集到的數(shù)據(jù)、一般存儲在Oracle/MySQL中的用戶和業(yè)務(wù)數(shù)據(jù)、通過ETL工具從其他外部DW數(shù)據(jù)源里導(dǎo)入的數(shù)據(jù)等。他講到其實目前所有的SQL on Hadoop產(chǎn)品其實都是在某個或者某些特定領(lǐng)域內(nèi)適合的，沒有萬能的產(chǎn)品。像當(dāng)年Oracle/Teradata這樣的滿足幾乎所有企業(yè)級應(yīng)用的產(chǎn)品在大數(shù)據(jù)時代是不現(xiàn)實的。所以每一種SQL on Hadoop產(chǎn)品都在盡量滿足某一類應(yīng)用的特征。

以Hive和Impala為例來說，Hive是目前互聯(lián)網(wǎng)企業(yè)中處理大數(shù)據(jù)、構(gòu)建數(shù)據(jù)倉庫最常用的解決方案，甚至在很多公司部署了Hadoop集群不是為了跑原生MapReduce程序，而全用來跑Hive SQL的查詢?nèi)蝿?wù)。

對于有很多data scientist和analyst的公司，會有很多相同表的查詢需求。那么顯然每個人都從Hive中查數(shù)據(jù)速度既慢又浪費資源。如果能把經(jīng)常訪問的數(shù)據(jù)放到內(nèi)存組成的集群中供用戶查詢那樣效率就會高很多。Facebook針對這一需求開發(fā)了Presto，一個把熱數(shù)據(jù)放到內(nèi)存中供SQL查詢的系統(tǒng)。這個設(shè)計思路跟Impala和Stinger非常類似了。使用Presto進行簡單查詢只需要幾百毫秒，即使是非常復(fù)雜的查詢，也只需數(shù)分鐘即可完成，它在內(nèi)存中運行，并且不會向磁盤寫入。Facebook有超過850名工程師每天用它來掃描超過320TB的數(shù)據(jù)，滿足了80%的ad-hoc查詢需求。

Impala則可以看成是Google Dremel架構(gòu)和MPP (Massively Parallel Processing)結(jié)構(gòu)的混合體。

目前主要是Cloudera在主導(dǎo)這個項目。以百度為例，百度嘗試把MySQL接入Impala的后端作為存儲引擎，同時實現(xiàn)相應(yīng)操作對應(yīng)的PlanFragment，那么用戶來的query還是按照原來的解析方法解析成各種PlanFragment，然后直接調(diào)度到對應(yīng)的節(jié)點(HDFS DataNode/HBaseRegionServer/MySQL)上執(zhí)行。會把某些源數(shù)據(jù)或者中間數(shù)據(jù)放到MySQL中，用戶的query涉及到使用這部分?jǐn)?shù)據(jù)時直接去MySQL里面拿。

梁堰波從技術(shù)架構(gòu)和最新進展兩個角度分析一下各種SQL on Hadoop產(chǎn)品的優(yōu)缺點和適用范圍：Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波對此7種最新技術(shù)從產(chǎn)品的原理，使用場景，架構(gòu)，優(yōu)缺點，性能優(yōu)化等方面做了深度闡述。文章詳情點擊：SQL on Hadoop的最新進展及7項相關(guān)技術(shù)分享 

此次CSDN在線培訓(xùn)：“用SQL-on-Hadoop構(gòu)建互聯(lián)網(wǎng)數(shù)據(jù)倉庫與商務(wù)智能系統(tǒng)”中，梁堰波會介紹目前在互聯(lián)網(wǎng)領(lǐng)域數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)構(gòu)建的業(yè)務(wù)需求和解決方案。SQL-on-Hadoop產(chǎn)品的原理，使用場景，架構(gòu)，優(yōu)缺點，性能優(yōu)化等。最后會介紹幾個實際案例幫助大家理解互聯(lián)網(wǎng)數(shù)據(jù)倉庫和SQL-on-Hadoop產(chǎn)品。本次培訓(xùn)將會講到的技術(shù)點有：Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的對比介紹，以及優(yōu)缺點比較、使用場景、目前在企業(yè)的應(yīng)用案例，同時還將帶來幾種常用的解決方案與比較！

本次在線培訓(xùn)采用三分屏模式，在聽課的同時可以和講師進行互動，讓你感受真實的課堂環(huán)境。還在為Hadoop“手藝”無處可學(xué)而煩惱？還在為Hadoop企業(yè)級應(yīng)用而頭疼？快來看看吧！

報名地址：http://huiyi.csdn.net/meeting/info/730/biz

講師介紹：梁堰波何許人也，北航計算機碩士，曾工作于VMware、百度、法國電信研發(fā)中心等機構(gòu)，現(xiàn)于美團網(wǎng)從事數(shù)據(jù)開發(fā)與挖掘工作。他本人具備豐富的大數(shù)據(jù)領(lǐng)域工作經(jīng)驗。在Hadoop/HBase/Impala和數(shù)據(jù)挖掘方面有豐富的實戰(zhàn)經(jīng)驗，曾發(fā)表過多篇技術(shù)文章！

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進行捐贈