分布式計(jì)算之并行計(jì)算

1、并行計(jì)算

并行計(jì)算或稱平行計(jì)算是相對(duì)串行計(jì)算來講的它是1種1次可履行多個(gè)指令的算法目的是提高計(jì)算速度及通過擴(kuò)大問題求解范圍解決大型而復(fù)雜的計(jì)算問題所謂并行計(jì)算可分為時(shí)間上的并行和空間上的并行 時(shí)間上的并行就是指流水線技術(shù)而空間上的并行則是指用多個(gè)處理器并發(fā)的履行計(jì)算。這個(gè)是多核處理器環(huán)境下的并行計(jì)算的定義，從宏觀上來看，這個(gè)屬于計(jì)算機(jī)利用服務(wù)器的垂直擴(kuò)大，在這里我們就不展開討論了。

散布式計(jì)算上的并行計(jì)算，首先要把任務(wù)進(jìn)行拆分，對(duì)不同的任務(wù)要進(jìn)行不同的拆分，拆分落后行計(jì)算，終究的計(jì)算數(shù)據(jù)進(jìn)行匯總。

還是到年底了，要做很多的報(bào)表，領(lǐng)導(dǎo)把需要的報(bào)表安排下來，我和我的團(tuán)隊(duì)去做統(tǒng)計(jì)。異步計(jì)算其實(shí)不能減少領(lǐng)導(dǎo)拿到終究結(jié)果的時(shí)間；我們要想辦法，我作為調(diào)度系統(tǒng)，把需要的報(bào)表進(jìn)行分拆，發(fā)現(xiàn)需要8組數(shù)據(jù)，我安排8位帥哥去獲得這些數(shù)據(jù)，這8位攻城獅把數(shù)據(jù)提供給我，我依照規(guī)則把報(bào)表完成，并提供給領(lǐng)導(dǎo)。這個(gè)大概就是1個(gè)簡單的并行計(jì)算模型了。

拆分和合并，是在散布式計(jì)算中的偉大的思想，這個(gè)也是Map/Reduce的思想。

2、Map/Reduce

Map/Reduce，它認(rèn)為所有的計(jì)算任務(wù)都可以經(jīng)歷從拆分到匯總的兩個(gè)進(jìn)程，也就是說，只要用Map和Reduce就能夠描寫所有的計(jì)算任務(wù)，就好比用0和1就可以存儲(chǔ)所有的數(shù)據(jù)1樣。

MapReduce通過把大工作分成不同的小工作再分發(fā)給不同的工作者來實(shí)現(xiàn)數(shù)據(jù)的可靠性。每個(gè)單獨(dú)的工作者處理分發(fā)的工作，然后把結(jié)果和狀態(tài)返回給父節(jié)點(diǎn)。如果1個(gè)節(jié)點(diǎn)失效了，主節(jié)點(diǎn)會(huì)發(fā)現(xiàn)和記錄這個(gè)失效的節(jié)點(diǎn)，把分配給這個(gè)節(jié)點(diǎn)的工作再分發(fā)給別的節(jié)點(diǎn)。

3、Map/Reduce履行進(jìn)程：

1.Master 把輸入文件分成M 份，通常16M

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)