可選地,DFS403還用于將該計(jì)算機(jī)集群中的一臺(tái)計(jì)算機(jī)作為DFS403的主節(jié)點(diǎn),其 它計(jì)算機(jī)作為DFS403的從節(jié)點(diǎn);MPI集群402還用于將該計(jì)算機(jī)集群中的一臺(tái)計(jì)算機(jī)作為 MPI集群402的主節(jié)點(diǎn),其它計(jì)算機(jī)作為MPI集群402的從節(jié)點(diǎn)。
[0059]進(jìn)一步地,DFS403的主節(jié)點(diǎn)和MPI集群402的主節(jié)點(diǎn)為同一臺(tái)計(jì)算機(jī);或者,DFS403的主節(jié)點(diǎn)和MPI集群402的主節(jié)點(diǎn)為不同的計(jì)算機(jī)。
[0060]另外,分布式開發(fā)平臺(tái)400還可執(zhí)行圖2的方法,并實(shí)現(xiàn)分布式開發(fā)平臺(tái)在圖2、圖 3所示實(shí)施例的功能,本發(fā)明實(shí)施例在此不再賞述。
[0061]本領(lǐng)域普通技術(shù)人員可W意識(shí)到,結(jié)合本文中所公開的實(shí)施例描述的各示例的單 元及算法步驟,能夠W電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。送些功能究竟 W硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員 可W對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能,但是送種實(shí)現(xiàn)不應(yīng)認(rèn)為超出 本發(fā)明的范圍。
[0062]所屬領(lǐng)域的技術(shù)人員可W清楚地了解到,為描述的方便和簡(jiǎn)潔,上述描述的系統(tǒng)、 裝置和單元的具體工作過程,可W參考前述方法實(shí)施例中的對(duì)應(yīng)過程,在此不再賞述。
[0063]在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所掲露的系統(tǒng)、裝置和方法,可W通過其它的方式實(shí)現(xiàn)。例如,W上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的 劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可W有另外的劃分方式,例如多個(gè)單元或組件 可W結(jié)合或者可W集成到另一個(gè)系統(tǒng),或一些特征可W忽略,或不執(zhí)行。另一點(diǎn),所顯示或 討論的相互之間的禪合或直接禪合或通信連接可W是通過一些接口,裝置或單元的間接禪 合或通信連接,可W是電性,機(jī)械或其它的形式。
[0064]所述作為分離部件說明的單元可W是或者也可W不是物理上分開的,作為單元顯 示的部件可W是或者也可W不是物理單元,即可W位于一個(gè)地方,或者也可W分布到多個(gè) 網(wǎng)絡(luò)單元上??蒞根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目 的。
[0065] 另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可W集成在一個(gè)處理單元中,也可W 是各個(gè)單元單獨(dú)物理存在,也可W兩個(gè)或兩個(gè)W上單元集成在一個(gè)單元中。
[0066]所述功能如果W軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可W存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于送樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說 對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì) 算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用W使得一臺(tái)計(jì)算機(jī)設(shè)備(可W是個(gè) 人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。 而前述的存儲(chǔ)介質(zhì)包括;U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM,ReacK)nlyMemo巧)、隨機(jī)存取存 儲(chǔ)器(RAM,RandomAccessMemory)、磁碟或者光盤等各種可W存儲(chǔ)程序代碼的介質(zhì)。
[0067] W上所述,僅為本發(fā)明的【具體實(shí)施方式】,但本發(fā)明的保護(hù)范圍并不局限于此,任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明掲露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵 蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)所述W權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種分布式計(jì)算平臺(tái),其特征在于,包括計(jì)算機(jī)集群、部署在所述計(jì)算機(jī)集群上的分 布式文件系統(tǒng)DFS和由部署在所述計(jì)算機(jī)集群內(nèi)每一臺(tái)計(jì)算機(jī)上的消息傳遞接口MPI構(gòu)成 的MPI集群,其中, 所述DFS用于為所述計(jì)算機(jī)集群內(nèi)的每一臺(tái)計(jì)算機(jī)提供共享存儲(chǔ)空間,所述共享存儲(chǔ) 空間存儲(chǔ)著所述MPI集群運(yùn)行程序時(shí)所需的運(yùn)行數(shù)據(jù); 所述MPI集群用于將提交到所述MPI集群的程序分成多個(gè)MPI任務(wù)分發(fā)給所述MPI集 群中的每一個(gè)MPI,其中,所述MPI集群中的每一個(gè)MPI所在的計(jì)算機(jī)在接收到MPI任務(wù)后, 根據(jù)各自分發(fā)的MPI任務(wù)和所述提交到所述MPI集群的程序在所述DFS所存儲(chǔ)的運(yùn)行數(shù)據(jù) 進(jìn)行運(yùn)算,并將運(yùn)算后的結(jié)果存儲(chǔ)到所述DFS中,使得所述計(jì)算機(jī)集群內(nèi)的每一個(gè)計(jì)算機(jī) 都能訪問到運(yùn)算后的結(jié)果。2. 如權(quán)利要求1所述的分布式計(jì)算平臺(tái),其特征在于, 所述DFS還用于將所述計(jì)算機(jī)集群中的一臺(tái)計(jì)算機(jī)作為所述DFS的主節(jié)點(diǎn),其它計(jì)算 機(jī)作為所述DFS的從節(jié)點(diǎn); 所述MPI集群還用于將所述計(jì)算機(jī)集群中的一臺(tái)計(jì)算機(jī)作為所述MPI集群的主節(jié)點(diǎn), 其它計(jì)算機(jī)作為所述MPI集群的從節(jié)點(diǎn)。3. 如權(quán)利要求2所述的分布式計(jì)算平臺(tái),其特征在于, 所述DFS的主節(jié)點(diǎn)和所述MPI集群的主節(jié)點(diǎn)為同一臺(tái)計(jì)算機(jī);或者 所述DFS的主節(jié)點(diǎn)和所述MPI集群的主節(jié)點(diǎn)為不同的計(jì)算機(jī)。4. 如權(quán)利要求1至3任一項(xiàng)所述的分布式計(jì)算平臺(tái),其特征在于,所述DFS通過網(wǎng)絡(luò)文 件系統(tǒng)NFS或Hadoop分布式系統(tǒng)HDFS搭建。5. 如權(quán)利要求1至4任一項(xiàng)所述的分布式計(jì)算平臺(tái),其特征在于,所述MPI集群通過 MPICH搭建。6. -種分布式計(jì)算平臺(tái)的計(jì)算方法,其特征在于,所述分布式計(jì)算平臺(tái)包括計(jì)算機(jī)集 群、部署在所述計(jì)算機(jī)集群上的分布式文件系統(tǒng)DFS和由部署在所述計(jì)算機(jī)集群內(nèi)每一臺(tái) 計(jì)算機(jī)上的消息傳遞接口MPI構(gòu)成的MPI集群,所述DFS存儲(chǔ)著所述MPI集群運(yùn)行程序時(shí) 所需的運(yùn)行數(shù)據(jù),所述計(jì)算方法包括: 所述MPI集群將提交到所述MPI集群的程序分成多個(gè)MPI任務(wù)通過所述MPI集群中的 每一個(gè)MPI分發(fā)給MPI所在的計(jì)算機(jī); 所述MPI集群中的每一個(gè)MPI所在的計(jì)算機(jī)根據(jù)各自分發(fā)的MPI任務(wù)和所述提交到所 述MPI集群的程序在所述DFS所存儲(chǔ)的運(yùn)行數(shù)據(jù)進(jìn)行運(yùn)算; 所述計(jì)算機(jī)集群內(nèi)的每一個(gè)計(jì)算機(jī)將運(yùn)算后的結(jié)果存儲(chǔ)到所述DFS中,使得所述計(jì)算 機(jī)集群內(nèi)的每一個(gè)計(jì)算機(jī)都能訪問到運(yùn)算后的結(jié)果。7. 如權(quán)利要求6所述的方法,其特征在于, 所述DFS還用于將所述計(jì)算機(jī)集群中的一臺(tái)計(jì)算機(jī)作為所述DFS的主節(jié)點(diǎn),其它計(jì)算 機(jī)作為所述DFS的從節(jié)點(diǎn); 所述MPI集群還用于將所述計(jì)算機(jī)集群中的一臺(tái)計(jì)算機(jī)作為所述MPI集群的主節(jié)點(diǎn), 其它計(jì)算機(jī)作為所述MPI集群的從節(jié)點(diǎn)。8. 如權(quán)利要求7所述的方法,其特征在于, 所述DFS的主節(jié)點(diǎn)和所述MPI集群的主節(jié)點(diǎn)為同一臺(tái)計(jì)算機(jī);或者 所述DFS的主節(jié)點(diǎn)和所述MPI集群的主節(jié)點(diǎn)為不同的計(jì)算機(jī)。9. 如權(quán)利要求6至8任一項(xiàng)所述的方法,其特征在于,所述DFS通過網(wǎng)絡(luò)文件系統(tǒng)NFS 或Hadoop分布式系統(tǒng)HDFS搭建。10. 如權(quán)利要求6至9任一項(xiàng)所述的方法,其特征在于,所述MPI集群通過MPICH搭建。
【專利摘要】本發(fā)明實(shí)施例提供了一種分布式開發(fā)平臺(tái)及其計(jì)算方法。該分布式開發(fā)平臺(tái)包括:計(jì)算機(jī)集群、部署在該計(jì)算機(jī)集群上的分布式文件系統(tǒng)DFS和由部署在該計(jì)算機(jī)集群內(nèi)每一臺(tái)計(jì)算機(jī)上的消息傳遞接口MPI構(gòu)成的MPI集群,其中,該DFS用于為該計(jì)算機(jī)集群內(nèi)的每一臺(tái)計(jì)算機(jī)提供共享存儲(chǔ)空間,該共享存儲(chǔ)空間存儲(chǔ)著該MPI集群運(yùn)行程序時(shí)所需的運(yùn)行數(shù)據(jù);該MPI集群用于將提交到該MPI集群的程序分成多個(gè)MPI任務(wù)分發(fā)給該MPI集群中的每一個(gè)MPI,其中,該MPI集群中的每一個(gè)MPI所在的計(jì)算機(jī)在接收到MPI任務(wù)后,根據(jù)各自分發(fā)的MPI任務(wù)和該提交到該MPI集群的程序在該DFS所存儲(chǔ)的運(yùn)行數(shù)據(jù)進(jìn)行運(yùn)算,并將運(yùn)算后的結(jié)果存儲(chǔ)到該DFS中,使得該計(jì)算機(jī)集群內(nèi)的每一個(gè)計(jì)算機(jī)都能訪問到運(yùn)算后的結(jié)果。
【IPC分類】G06F9/45
【公開號(hào)】CN105183531
【申請(qǐng)?zhí)枴緾N201410273009
【發(fā)明人】徐君, 李航
【申請(qǐng)人】華為技術(shù)有限公司
【公開日】2015年12月23日
【申請(qǐng)日】2014年6月18日