Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0發(fā)布了，新的穩(wěn)定版，發(fā)布頻率和質(zhì)量愈來愈高了，增加了很多東西，從安裝包的大小就可以看出來，直接增加了50M，30%有木有。

下面看1下，2.6.0都有啥好東西。

Common：

1.      Hadoop Key Management Server（KMS）是1個基于HadoopKeyProvider API編寫的密鑰管理服務(wù)器。他提供了1個client和1個server組件，client和server之間基于HTTP協(xié)議使用REST API通訊。Client是1個KeyProvider的實現(xiàn)，使用KMS HTTP REST API與KMS交互。KMS和它的client有內(nèi)置的安全機制，支持HTTP SPNEGO Kerberos認(rèn)證和HTTPS安全傳輸。KMS是1個Java Web利用程序，運行在與Hadoop發(fā)行版綁定在1起的預(yù)先配置好的Tomcat服務(wù)器上。

2.      Tracing

HDFS⑸274增加了追蹤通過HDFS的要求的功能，此功能使用了開源的庫，HTrace。大家可以看1下HTrace，功能很強大，Cloudera開源出來的。

HDFS：

1.      Transparent Encryption，HDFS實現(xiàn)了1個透明的，端到真?zhèn)€加密方式。1旦配置了加密，從HDFS讀出數(shù)據(jù)解密和寫入數(shù)據(jù)加密的進程對用戶利用程序代碼帶來講都是透明的。加密進程是端到真?zhèn)€，這意味著數(shù)據(jù)只能在客戶端被加密解密。HDFS歷來不存儲，也不訪問未加密的數(shù)據(jù)和數(shù)據(jù)加密密鑰。這樣滿足了加密進程的兩個典型的需求：at-rest encryption（靜態(tài)加密，也就是說，數(shù)據(jù)持久化在像硬盤這樣的媒介上），in-transit encryption（在途加密，例如，當(dāng)數(shù)據(jù)在網(wǎng)絡(luò)中傳輸?shù)臅r候）。

2.      Storage SSD&& Memory。ArchivalStorage（檔案存儲器）是將計算能力與不斷增長的存儲能力分離。具有高密度低本錢的存儲但是計算能力較低的節(jié)點將變得可用，可以在集群中做冷存儲。增加更多的節(jié)點作為冷存儲可以提高集群的存儲能力，跟集群的計算能力無關(guān)。

MapReduce

這1部份主要是1些bug的修復(fù)和改進。增加了兩個新的新特，在2.5.2里已有所描寫了。這里在簡單看1下。

1.      ResourceManger Restart

2.      允許AM發(fā)送歷史事件信息到timeline server。

YARN

1.      NodeManager Restart：這個特性可使NodeManager在不丟失運行在節(jié)點中的活動的container的情況下重新啟動。

2.      Docker Container Executor：DockerContainer Executor（DCE）允許YARN NodeManager在Docker container中啟動YARN container。用戶可以指定他們想用來運行YARN container的Docker的鏡像。這些container提供了1個可以自定義的軟件環(huán)境，用戶的代碼可以運行在其中，與NodeManager運行的環(huán)境隔離。這些運行用戶代碼的container可以包括利用程序需要的特定的庫，它們可以具有與NodeManager不同版本的Perl，Python乃至是Java。事實上，這些container可以運行與NodeManager所在的OS不同版本的Linux。雖然YARN container必須定義運行Job所需的所有的環(huán)境和庫，但是NodeManager中的所有的東西都不會同享。

Docer為YARN提供了1致和隔離兩種模式，1致模式下，所有的YARN container將具有相同的軟件環(huán)境，在隔離模式下，不管物理機器安裝了甚么都不干擾。

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進行捐贈