上1篇blog我們完成了Hadoop偽散布式環(huán)境的搭建,偽散布式模式也叫單節(jié)點集群模式, NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守護(hù)進(jìn)程全部運行在K-Master節(jié)點之上。在本篇blog我們將搭建完全散布式環(huán)境,運行NameNode、SecondaryNameNode、JobTracker守護(hù)進(jìn)程在主節(jié)點上,運行DataNode、TaskTracker在從節(jié)點上。特別注意:在搭建Hadoop完全散布式環(huán)境前請確保完成了【Hadoop基礎(chǔ)教程】1、Hadoop之服務(wù)器基礎(chǔ)環(huán)境搭建 。
硬件環(huán)境:Centos 6.5 服務(wù)器4臺(1臺為Master節(jié)點,3臺為Slave節(jié)點)
軟件環(huán)境:Java 1.7.0_45、hadoop⑴.2.1
我們使用4臺機器來搭建Hadoop完全散布式環(huán)境,4臺機器的拓?fù)鋱D以下圖所示:
Hadoop集群中每一個節(jié)點的角色以下表所示:
下面以配置K-Master啟動SSH服務(wù)為例進(jìn)行演示,用戶需參照下面步驟完成KVMSlave1~KVMSlave33臺子節(jié)點機器的SSH服務(wù)啟動;
1)以hadoop用戶遠(yuǎn)程登錄K-Master服務(wù)器,啟動SSH服務(wù);
[hadoop@K-Master hadoop]$ sudo /etc/init.d/sshd start
2)設(shè)置開機啟動:
[hadoop@K-Master hadoop]$ sudo chkconfig sshd on
下面以配置K-Master本機無密碼登錄為例進(jìn)行講授,用戶需參照下面步驟完成KVMSlave1~KVMSlave33臺子節(jié)點機器的本機無密碼登錄;
1)以hadoop用戶遠(yuǎn)程登錄K-Master服務(wù)器,在K-Master服務(wù)器上生成公鑰和私鑰密碼對,密鑰默許存儲在”/home/hadoop/.ssh”目錄下,生成公鑰和私鑰密碼對時,無需輸入密碼,直接回車便可。
#切換到hadoop用戶,不能使用root用戶生成密鑰
[hadoop@K-Master hadoop]$ su hadoop
[hadoop@K-Master hadoop]$ cd /home/hadoop/
[hadoop@K-Master hadoop]$ ssh-keygen -t rsa -P ""
2)將公鑰追加到”authorized_keys”文件
[hadoop@K-Master hadoop]$ cd /home/hadoop/
[hadoop@K-Master hadoop]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
3)賦予權(quán)限
[hadoop@K-Master hadoop]$ chmod 600 .ssh/authorized_keys
4)驗證本性能無密碼訪問
[hadoop@K-Master hadoop]$ ssh K-Master
下面以K-Master無密碼登錄KVMSlave1為例進(jìn)行講授,用戶需參照下面步驟完成K-Master無密碼登錄KVMSlave2~KVMSlave3。
1)以hadoop用戶遠(yuǎn)程登錄KVMSlave1服務(wù)器,復(fù)制K-Master服務(wù)器的公鑰”id_rsa.pub”到KVMSlave1服務(wù)器的”/home/hadoop/”目錄下。
[hadoop@KVMSlave1 hadoop]$ cd /home/hadoop/
[hadoop@KVMSlave1 hadoop]$ scp hadoop@K-Master:/home/hadoop/.ssh/id_rsa.pub /home/hadoop/
2)將K-Master的公鑰(/home/hadoop/id_rsa.pub)追加到KVMSlave1的authorized_keys中。
[hadoop@KVMSlave1 hadoop]$ cd /home/hadoop
[hadoop@KVMSlave1 hadoop]$ cat id_rsa.pub >> .ssh/authorized_keys
[hadoop@KVMSlave1 hadoop]$ rm -r /home/hadoop/id_rsa.pub
3)另外開啟1個終端,遠(yuǎn)程登錄K-Master服務(wù)器,在K-Master服務(wù)器測試通過SSH無密碼登錄KVMSlave1。
[hadoop@K-Master hadoop]$ ssh KVMSlave1
下面以KVMSlave1無密碼登錄K-Master為例進(jìn)行講授,用戶需參照下面步驟完成KVMSlave2~KVMSlave3無密碼登錄K-Master。
1)以hadoop用戶遠(yuǎn)程登錄K-Master,復(fù)制KVMSlave1服務(wù)器的公鑰”id_rsa.pub”到KVMSlave1服務(wù)器的”/home/hadoop/”目錄下。
[hadoop@K-Master hadoop]$ scp hadoop@KVMSlave1:/home/hadoop/.ssh/id_rsa.pub /home/hadoop
2)將KVMSlave1的公鑰(/home/hadoop/id_rsa.pub)追加到K-Master的authorized_keys中。
[hadoop@K-Master hadoop]$ cd /home/hadoop
[hadoop@K-Master hadoop]$ cat id_rsa.pub >> .ssh/authorized_keys
[hadoop@K-Master hadoop]$ rm
生活不易,碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進(jìn)行捐贈