Cloudera的CDH和Apache的Hadoop的區(qū)分 目前而言,不收費的Hadoop版本主要有3個(均是國外廠商),分別是:
Apache(最原始的版本,所有發(fā)行版均基于這個版本進行改進)、Cloudera版本(Cloudera’s Distribution
Including Apache Hadoop,簡稱CDH)、Hortonworks版本(Hortonworks Data Platform,簡稱“HDP”),對國
內(nèi)而言,絕大多數(shù)選擇CDH版本,CDH和Apache版本主要區(qū)分以下:
(1) CDH對Hadoop版本的劃分非常清晰,只有兩個系列的版本,分別是cdh3和cdh4,分別對應(yīng)第1代Hadoop(Hadoop
1.0)和第2代Hadoop(Hadoop 2.0),相比而言,Apache版本則混亂很多;比Apache hadoop在兼容性,安全性,
穩(wěn)定性上有增強。
(補充:當(dāng)前已有CDH5,對應(yīng)Hadoop2.2.0開始)
(2)CDH3版本是基于Apache hadoop 0.20.2改進的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改
進的,CDH總是并利用了最新Bug修復(fù)或Feature的Patch,并比Apache hadoop同功能版本提早發(fā)布,更新速度比
Apache官方快。
(3)安全 CDH支持Kerberos安全認證,apache hadoop則使用簡陋的用戶名匹配認證
(4)CDH文檔清晰,很多采取Apache版本的用戶都會瀏覽CDH提供的文檔,包括安裝文檔、升級文檔等。
(5)CDH支持Yum/Apt包,Tar包,RPM包,CM安裝,Cloudera Manager3種方式安裝,Apache hadoop只支持Tar包安裝。
注:CDH使用推薦的Yum/Apt包安裝時,有以下幾個好處:
1、聯(lián)網(wǎng)安裝、升級,非常方便
2、自動下載依賴軟件包
3、Hadoop生態(tài)系統(tǒng)包自動匹配,不需要你尋覓與當(dāng)前Hadoop匹配的Hbase,F(xiàn)lume,Hive等軟件,Yum/Apt會根據(jù)當(dāng)前
安裝Hadoop版本自動尋覓匹配版本的軟件包,并保證兼容性。
4、自動創(chuàng)建相干目錄并軟鏈到適合的地方(如conf和logs等目錄);自動創(chuàng)建hdfs, mapred用戶,hdfs用戶是HDFS
的最高權(quán)限用戶,mapred用戶則負責(zé)mapreduce履行進程中相干目錄的權(quán)限。