亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

用于分布式文件處理的方法和設(shè)備與流程

文檔序號:12733666閱讀:來源:國知局

技術(shù)特征:

1.一種在主節(jié)點設(shè)備端用于分布式文件處理的方法,其中,所述方法包括:

基于分布式作業(yè)任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息;

將所述分布式作業(yè)任務(wù)分配給若干從節(jié)點設(shè)備進(jìn)行處理;

基于所述從節(jié)點設(shè)備所發(fā)送的元信息讀取請求,將所獲取的分布式文件的元信息發(fā)送給相應(yīng)所述從節(jié)點設(shè)備。

2.根據(jù)權(quán)利要求1所述的方法,其中,所述分布式作業(yè)任務(wù)包括映射-規(guī)約分布式作業(yè)的規(guī)約任務(wù)。

3.根據(jù)權(quán)利要求2所述的方法,其中,所述基于分布式作業(yè)任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求包括:

當(dāng)獲取所述規(guī)約任務(wù)時,基于所述規(guī)約任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息。

4.一種在從節(jié)點設(shè)備端用于分布式文件處理的方法,其中,所述方法包括:

基于主節(jié)點設(shè)備所分配的分布式作業(yè)任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述分布式作業(yè)任務(wù)的相應(yīng)所述分布式文件的元信息;

基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述分布式作業(yè)任務(wù)。

5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述分布式作業(yè)任務(wù)包括由映射-歸約分布式作業(yè)的規(guī)約任務(wù)。

6.根據(jù)權(quán)利要求5所述的方法,其中,所述基于主節(jié)點設(shè)備所分配的分布式作業(yè)任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求包括:

基于主節(jié)點設(shè)備所分配的規(guī)約任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述規(guī)約任務(wù)的一組所述分布式文件的元信息。

7.根據(jù)權(quán)利要求5或6所述的方法,其中,所述分布式作業(yè)任務(wù)包括由映射-規(guī)約分布式作業(yè)的映射任務(wù)。

8.根據(jù)權(quán)利要求7所述的方法,其中,所述方法還包括:

基于所述映射任務(wù),向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述映射任務(wù)的分布式文件的元信息;

基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述映射任務(wù);

基于所述映射任務(wù)的處理結(jié)果,創(chuàng)建若干所述規(guī)約任務(wù)的一組所述分布式文件,并將所述規(guī)約任務(wù)的一組所述分布式文件發(fā)送至文件存儲設(shè)備,并將所述規(guī)約任務(wù)的一組所述分布式文件的元信息發(fā)送至所述文件系統(tǒng)中心節(jié)點設(shè)備。

9.一種用于分布式文件處理的主節(jié)點設(shè)備,其中,所述主節(jié)點設(shè)備包括:

獲取元信息裝置,用于基于分布式作業(yè)任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息;

分配任務(wù)裝置,用于將所述分布式作業(yè)任務(wù)分配給若干從節(jié)點設(shè)備進(jìn)行處理;

發(fā)送元信息裝置,用于基于所述從節(jié)點設(shè)備所發(fā)送的元信息讀取請求,將所獲取的分布式文件的元信息發(fā)送給相應(yīng)所述從節(jié)點設(shè)備。

10.根據(jù)權(quán)利要求9所述的設(shè)備,其中,所述分布式作業(yè)任務(wù)包括映射-規(guī)約分布式作業(yè)的規(guī)約任務(wù)。

11.根據(jù)權(quán)利要求9所述的設(shè)備,其中,所述獲取元信息裝置用于:

當(dāng)獲取所述規(guī)約任務(wù)時,基于所述規(guī)約任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息。

12.一種用于分布式文件處理的從節(jié)點設(shè)備,其中,所述從節(jié)點設(shè)備包括:

發(fā)送讀取請求裝置,用于基于主節(jié)點設(shè)備所分配的分布式作業(yè)任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述分布式作業(yè)任務(wù)的相應(yīng)所述分布式文件的元信息;

處理裝置,用于基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述分布式作業(yè)任務(wù)。

13.根據(jù)權(quán)利要求12所述的設(shè)備,其中,所述分布式作業(yè)任務(wù)包括由 映射-規(guī)約分布式作業(yè)的規(guī)約任務(wù)。

14.根據(jù)權(quán)利要求13所述的設(shè)備,其中,所述發(fā)送讀取請求裝置用于:

基于主節(jié)點設(shè)備所分配的規(guī)約任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述規(guī)約任務(wù)的一組所述分布式文件的元信息。

15.根據(jù)權(quán)利要求13或14所述的設(shè)備,其中,所述分布式作業(yè)任務(wù)包括由映射-規(guī)約分布式作業(yè)的映射任務(wù)。

16.根據(jù)權(quán)利要求15所述的設(shè)備,其中,所述設(shè)備還包括:

映射任務(wù)請求裝置,用于獲取基于所述映射任務(wù),向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述映射任務(wù)的分布式文件的元信息;

映射任務(wù)處理裝置,用于基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述映射任務(wù);

規(guī)約任務(wù)處理裝置,用于基于所述映射任務(wù)的處理結(jié)果,創(chuàng)建若干所述歸約任務(wù)的一組所述分布式文件,并將所述規(guī)約任務(wù)的一組所述分布式文件發(fā)送至文件存儲設(shè)備,并將所述規(guī)約任務(wù)的一組所述分布式文件的元信息發(fā)送至所述文件系統(tǒng)中心節(jié)點設(shè)備。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1