storm集群部署和配置過程詳解
來源：程序員人生 發(fā)布時(shí)間：2014-12-29 09:03:48 閱讀次數(shù)：3857次
先整體介紹1下搭建storm集群的步驟：
- 設(shè)置zookeeper集群
- 安裝依賴到所有nimbus和worker節(jié)點(diǎn)
- 下載并解壓storm發(fā)布版本到所有nimbus和worker節(jié)點(diǎn)
- 配置storm.yaml
- 啟動(dòng)相干后臺(tái)進(jìn)程
1 首先配置zookeeper集群
我們知道storm通過zookeeper來調(diào)和全部集群。zookeeper不是用來做消息傳遞，因此storm不會(huì)給zookeeper帶來很大的壓力。單節(jié)點(diǎn)的zookeeper在大多情形下是可以勝任的，但是如果你想得到更好的可靠性或部署大集群的話，你可能就需要1個(gè)大的zookeeper集群。關(guān)于zookeeper的部署在這里就不多做介紹，具體請(qǐng)參考：here。
關(guān)于zookeeper的部署這里再補(bǔ)充兩點(diǎn)：
- 把zookeeper運(yùn)行在1個(gè)監(jiān)督進(jìn)程之下是非常關(guān)鍵的，由于zookeeper是1個(gè)fail-fast的進(jìn)程，當(dāng)它遇到任何毛病的時(shí)候都會(huì)自動(dòng)退出，具體請(qǐng)參考： here
- 定時(shí)的去緊縮和轉(zhuǎn)移zookeeper數(shù)據(jù)也是非常關(guān)鍵的，由于zookeeper不具有緊縮和清楚數(shù)據(jù)機(jī)制，如果我們不設(shè)置1個(gè)cron管理這些數(shù)據(jù)，zookeeper產(chǎn)生的數(shù)據(jù)會(huì)很快的占滿磁盤，具體請(qǐng)參考： here
ps:如果zookeeper啟動(dòng)失敗，查看1下它bin目錄下的zookeeper.out文件，配置1下它的myid試試。
2 安裝依賴到nimbus和worker節(jié)點(diǎn)
storm需要依賴的是：
需要注意，storm對(duì)大多數(shù)版本的依賴都做了測(cè)試，但是storm其實(shí)不保證對(duì)任何版本的依賴都能正常工作。
3 下載解壓storm發(fā)布版本到nimbus和worker節(jié)點(diǎn)
下1步就是下載解壓storm緊縮文件到每臺(tái)機(jī)器，storm發(fā)布版本可以從這里下載from
here。
4 配置storm.yaml文件
storm里面有1個(gè)文件conf/storm.yaml，它就是storm的配置文件。關(guān)于這個(gè)文件的所有默許值可以從這里得到here。storm.yaml中的配置會(huì)覆蓋掉default.yaml中的配置。下面配置1個(gè)集群必須修改的配置：
1) storm.zookeeper.servers:配置zookeeper集群的列表
storm.zookeeper.servers:
- "111.222.333.444"
- "555.666.777.888"
如果你的zookeeper集群使用的端口不是默許端口，那末你還得配置storm.zookeeper.port。
2) storm.local.dir ：storm的nimbus和work進(jìn)程需要1個(gè)目錄來寄存1小部份狀態(tài)數(shù)據(jù)，比如jars、confs等等。我們需要在每臺(tái)機(jī)器上創(chuàng)建這個(gè)目錄并且賦予其相應(yīng)的權(quán)限。
storm.local.dir: "/mnt/storm"
3) nimbus.host:worker節(jié)點(diǎn)需要知道哪一個(gè)機(jī)器是master節(jié)點(diǎn)，以便自己從maser節(jié)點(diǎn)下載jars和confs。
nimbus.host: "111.222.333.44"
4) supervisor.slots.ports:對(duì)每臺(tái)worker機(jī)器，它決定了這臺(tái)機(jī)器1共可以運(yùn)行多少個(gè)worker進(jìn)程。每一個(gè)worker進(jìn)程會(huì)獨(dú)占1個(gè)端口來接收消息，這個(gè)參數(shù)就是配置了哪些端口會(huì)分配給worker進(jìn)程。如果你在這配置了5個(gè)端口，那末storm將能分配5個(gè)worker進(jìn)程給這臺(tái)機(jī)器，如果配置3個(gè)端口，那末storm也只能分配3個(gè)worker進(jìn)程。storm默許分配4個(gè)worker進(jìn)程到6700，6701,6702,6703端口。比如：
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
5 通過storm命令運(yùn)行storm相干的守護(hù)進(jìn)程
最后1步就是啟動(dòng)所有storm相干守護(hù)進(jìn)程。固然，把這些進(jìn)程都納入到監(jiān)督進(jìn)程管理之下是很有必要的。storm也是1個(gè)fail-fast系統(tǒng)，這就意味著這些進(jìn)程1但遇到異常就會(huì)終止。storm之所以會(huì)這么設(shè)計(jì)，是為了它可以在任什么時(shí)候候安全的終止和在進(jìn)程重啟的時(shí)候恢復(fù)。這就是storm為不在進(jìn)程中保存相干狀態(tài)的緣由，如果nimbus或supervisor節(jié)點(diǎn)重啟，運(yùn)行著的topoloies不會(huì)遭到任何影響。下面就是啟動(dòng)storm相干進(jìn)程的命令：
- Nimbus：在master節(jié)點(diǎn)運(yùn)行“bin/storm nimbus”
- Supervisor：在每臺(tái)worker節(jié)點(diǎn)運(yùn)行“bin/storm supervisor”,supervisor進(jìn)程負(fù)責(zé)在worker節(jié)點(diǎn)上啟動(dòng)和停止相應(yīng)的worker進(jìn)程
- UI：運(yùn)行“bin/storm ui” ，1個(gè)通過頁面管理和展現(xiàn)storm集群運(yùn)行狀態(tài)的工具，可以通過“http://nimbus host:8080”來訪問。
我們可以看到啟動(dòng)storm服務(wù)進(jìn)程相當(dāng)簡(jiǎn)單直接，storm產(chǎn)生的log會(huì)保存在各臺(tái)機(jī)器的storm/logs目錄中，storm通過logback管理它的日志，我們可以通過修改其logback.xml文件來改變其log的目錄及內(nèi)容。
生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)
