1.一種在主節(jié)點設(shè)備端用于分布式文件處理的方法,其中,所述方法包括:
基于分布式作業(yè)任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息;
將所述分布式作業(yè)任務(wù)分配給若干從節(jié)點設(shè)備進(jìn)行處理;
基于所述從節(jié)點設(shè)備所發(fā)送的元信息讀取請求,將所獲取的分布式文件的元信息發(fā)送給相應(yīng)所述從節(jié)點設(shè)備。
2.根據(jù)權(quán)利要求1所述的方法,其中,所述分布式作業(yè)任務(wù)包括映射-規(guī)約分布式作業(yè)的規(guī)約任務(wù)。
3.根據(jù)權(quán)利要求2所述的方法,其中,所述基于分布式作業(yè)任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求包括:
當(dāng)獲取所述規(guī)約任務(wù)時,基于所述規(guī)約任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息。
4.一種在從節(jié)點設(shè)備端用于分布式文件處理的方法,其中,所述方法包括:
基于主節(jié)點設(shè)備所分配的分布式作業(yè)任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述分布式作業(yè)任務(wù)的相應(yīng)所述分布式文件的元信息;
基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述分布式作業(yè)任務(wù)。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述分布式作業(yè)任務(wù)包括由映射-歸約分布式作業(yè)的規(guī)約任務(wù)。
6.根據(jù)權(quán)利要求5所述的方法,其中,所述基于主節(jié)點設(shè)備所分配的分布式作業(yè)任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求包括:
基于主節(jié)點設(shè)備所分配的規(guī)約任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述規(guī)約任務(wù)的一組所述分布式文件的元信息。
7.根據(jù)權(quán)利要求5或6所述的方法,其中,所述分布式作業(yè)任務(wù)包括由映射-規(guī)約分布式作業(yè)的映射任務(wù)。
8.根據(jù)權(quán)利要求7所述的方法,其中,所述方法還包括:
基于所述映射任務(wù),向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述映射任務(wù)的分布式文件的元信息;
基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述映射任務(wù);
基于所述映射任務(wù)的處理結(jié)果,創(chuàng)建若干所述規(guī)約任務(wù)的一組所述分布式文件,并將所述規(guī)約任務(wù)的一組所述分布式文件發(fā)送至文件存儲設(shè)備,并將所述規(guī)約任務(wù)的一組所述分布式文件的元信息發(fā)送至所述文件系統(tǒng)中心節(jié)點設(shè)備。
9.一種用于分布式文件處理的主節(jié)點設(shè)備,其中,所述主節(jié)點設(shè)備包括:
獲取元信息裝置,用于基于分布式作業(yè)任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息;
分配任務(wù)裝置,用于將所述分布式作業(yè)任務(wù)分配給若干從節(jié)點設(shè)備進(jìn)行處理;
發(fā)送元信息裝置,用于基于所述從節(jié)點設(shè)備所發(fā)送的元信息讀取請求,將所獲取的分布式文件的元信息發(fā)送給相應(yīng)所述從節(jié)點設(shè)備。
10.根據(jù)權(quán)利要求9所述的設(shè)備,其中,所述分布式作業(yè)任務(wù)包括映射-規(guī)約分布式作業(yè)的規(guī)約任務(wù)。
11.根據(jù)權(quán)利要求9所述的設(shè)備,其中,所述獲取元信息裝置用于:
當(dāng)獲取所述規(guī)約任務(wù)時,基于所述規(guī)約任務(wù)向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述分布式作業(yè)任務(wù)的一組分布式文件的元信息。
12.一種用于分布式文件處理的從節(jié)點設(shè)備,其中,所述從節(jié)點設(shè)備包括:
發(fā)送讀取請求裝置,用于基于主節(jié)點設(shè)備所分配的分布式作業(yè)任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述分布式作業(yè)任務(wù)的相應(yīng)所述分布式文件的元信息;
處理裝置,用于基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述分布式作業(yè)任務(wù)。
13.根據(jù)權(quán)利要求12所述的設(shè)備,其中,所述分布式作業(yè)任務(wù)包括由 映射-規(guī)約分布式作業(yè)的規(guī)約任務(wù)。
14.根據(jù)權(quán)利要求13所述的設(shè)備,其中,所述發(fā)送讀取請求裝置用于:
基于主節(jié)點設(shè)備所分配的規(guī)約任務(wù),向所述主節(jié)點設(shè)備發(fā)送元信息讀取請求,以獲取所述規(guī)約任務(wù)的一組所述分布式文件的元信息。
15.根據(jù)權(quán)利要求13或14所述的設(shè)備,其中,所述分布式作業(yè)任務(wù)包括由映射-規(guī)約分布式作業(yè)的映射任務(wù)。
16.根據(jù)權(quán)利要求15所述的設(shè)備,其中,所述設(shè)備還包括:
映射任務(wù)請求裝置,用于獲取基于所述映射任務(wù),向文件系統(tǒng)中心節(jié)點設(shè)備發(fā)送請求,以獲取關(guān)于所述映射任務(wù)的分布式文件的元信息;
映射任務(wù)處理裝置,用于基于所述元信息打開并讀取相應(yīng)所述分布式文件,以處理所述映射任務(wù);
規(guī)約任務(wù)處理裝置,用于基于所述映射任務(wù)的處理結(jié)果,創(chuàng)建若干所述歸約任務(wù)的一組所述分布式文件,并將所述規(guī)約任務(wù)的一組所述分布式文件發(fā)送至文件存儲設(shè)備,并將所述規(guī)約任務(wù)的一組所述分布式文件的元信息發(fā)送至所述文件系統(tǒng)中心節(jié)點設(shè)備。