本公開內(nèi)容的諸方面涉及計算硬件和軟件技術(shù),尤其涉及分布式文件系統(tǒng)的版本間映射。
背景技術(shù):
越來越多的數(shù)據(jù)密集型分布式應(yīng)用正在被開發(fā)以服務(wù)諸如處理通常不能由單個計算機處理的非常大的數(shù)據(jù)集的各種需要。相反,計算機集群被用于分配諸如組織和訪問數(shù)據(jù)以及執(zhí)行關(guān)于數(shù)據(jù)的相關(guān)操作的各種任務(wù)或作業(yè)。已經(jīng)開發(fā)了包括Hive、HBase、Hadoop、Amazon S3和CloudStore等的各種應(yīng)用和框架來與這樣的大數(shù)據(jù)集交互。這些應(yīng)用和框架通常采用允許更快地訪問在集群內(nèi)啟動的計算機的各種分布式文件系統(tǒng)。然而,隨著對文件系統(tǒng)和框架的創(chuàng)新,不同版本的框架可能不能訪問不同版本的文件系統(tǒng)。
除了分布式應(yīng)用和框架的進(jìn)步之外,虛擬化技術(shù)已經(jīng)變得普及并且在數(shù)據(jù)中心和其他環(huán)境中是常見的,其中,在前述數(shù)據(jù)中心和其他環(huán)境中提高使用計算資源的效率是有用的。在虛擬化環(huán)境中,一個或更多個虛擬機在底層計算機(或另一虛擬機)上實例化并共享底層計算機的資源。因此,不是使每個計算設(shè)備具有單個處理節(jié)點,而是集群可以采用每個計算設(shè)備多個虛擬機以更有效地分配工作負(fù)荷。
技術(shù)實現(xiàn)要素:
本文提供了一種向大規(guī)模處理框架(LSPF)集群中的LSPF節(jié)點提供數(shù)據(jù)的系統(tǒng)、方法及軟件。在一個示例中,一種提供數(shù)據(jù)的方法包括:從LSPF節(jié)點接收根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。該方法還包括:響應(yīng)于訪問請求,根據(jù)分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù);以及根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點。
在另一實例中,一種向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的計算機裝置包括處理指令,處理指令當(dāng)由數(shù)據(jù)服務(wù)計算系統(tǒng)執(zhí)行時指示數(shù)據(jù)服務(wù)計算系統(tǒng)從LSPF節(jié)點接收用于根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。處理指令還指示數(shù)據(jù)服務(wù)計算系統(tǒng):響應(yīng)于訪問請求,根據(jù)分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù);以及根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點。計算機裝置還包括一個或更多個非暫態(tài)計算機可讀介質(zhì),一個或更多個非暫態(tài)計算機可讀介質(zhì)存儲處理指令。
在另一示例中,一種向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的系統(tǒng)包括LSPF節(jié)點,該LSPF節(jié)點被配置成發(fā)起用于根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。該系統(tǒng)還包括數(shù)據(jù)服務(wù),該數(shù)據(jù)服務(wù)被配置成:識別訪問請求;以及響應(yīng)于訪問請求,根據(jù)分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù)。數(shù)據(jù)服務(wù)還被配置成根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點。
附圖說明
參照下面的附圖可以更好地理解本公開內(nèi)容的多個方面。雖然結(jié)合附圖描述了若干實現(xiàn)方式,但是本公開內(nèi)容不限于本文所公開的實現(xiàn)方式。相反,意在涵蓋所有替代、修改和等同方式。
圖1圖示出了向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的計算環(huán)境。
圖2圖示出了向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的方法。
圖3圖示出了虛擬大規(guī)模處理框架集群。
圖4圖示出了用于向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的概況。
圖5圖示出了用于向虛擬大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的概況。
圖6圖示出了用于向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的計算系統(tǒng)。
圖7圖示出了用于向多個虛擬大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的概況。
具體實施方式
本文中所描述的各種實現(xiàn)方式提供了向大規(guī)模處理框架(LSPF)集群中的LSPF節(jié)點提供數(shù)據(jù)的系統(tǒng)、方法和軟件。特別地,已經(jīng)開發(fā)了應(yīng)用和框架以使用一個或更多個處理系統(tǒng)來處理來自存儲卷的大量數(shù)據(jù)。這些處理系統(tǒng)可以包括諸如服務(wù)器計算機、臺式計算機等的真實處理系統(tǒng),以及在這些真實處理系統(tǒng)或主機處理系統(tǒng)內(nèi)的虛擬機。
在至少一個實現(xiàn)方式中,在主機環(huán)境內(nèi)實例化一個或更多個虛擬機。虛擬機可以由在主機環(huán)境中運行的管理程序來實例化,該管理程序可以在具有或不具有在其下的操作系統(tǒng)的情況下運行。例如,在一些實現(xiàn)中,管理程序可以在主機操作系統(tǒng)之上的層處實現(xiàn),而在其他實現(xiàn)中,管理程序可以與操作系統(tǒng)集成。其他管理程序是可能的,并且可以認(rèn)為在本公開內(nèi)容的范圍內(nèi)。
由管理程序執(zhí)行的虛擬機可以包括消費和執(zhí)行對數(shù)據(jù)的處理的諸如客戶操作系統(tǒng)及其組件的各種客戶元件、客戶應(yīng)用等。虛擬機還可以包括諸如客戶存儲器、客戶存儲系統(tǒng)和客戶處理器的各種計算組件的虛擬表示。
在一個示例中,在虛擬機內(nèi)運行的客戶元件(諸如用于處理大數(shù)據(jù)集的映射縮減應(yīng)用或框架)可能需要用于處理的數(shù)據(jù)。該應(yīng)用或框架用于訪問來自一個或更多個存儲卷的數(shù)據(jù),并且與一個或更多個其他真實計算節(jié)點或虛擬計算節(jié)點并行地處理數(shù)據(jù)。在本示例中,LSPF集群可以包含能夠使用分布式文件系統(tǒng)的特定版本來處理數(shù)據(jù)的一個或更多個節(jié)點。因此,當(dāng)LSPF集群內(nèi)的節(jié)點需要數(shù)據(jù)時,節(jié)點可以使用特定分布式文件系統(tǒng)發(fā)起訪問請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)進(jìn)程可以識別訪問請求,并且使用分布式文件系統(tǒng)的不同版本來訪問適當(dāng)?shù)臄?shù)據(jù)。進(jìn)而,數(shù)據(jù)服務(wù)進(jìn)程可以根據(jù)由LSPF集群中的節(jié)點使用的分布式文件系統(tǒng)的特定版本將數(shù)據(jù)呈送給LSPF節(jié)點。
現(xiàn)在參照圖1,圖1圖示出了向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的計算環(huán)境100。計算環(huán)境100包括數(shù)據(jù)存儲庫110、LSPF集群120和數(shù)據(jù)服務(wù)160。LSPF集群120還包括LSPF節(jié)點121-123,LSPF節(jié)點121-123使用第一分布式文件系統(tǒng)(DFS)版本來從數(shù)據(jù)存儲庫110請求數(shù)據(jù)。雖然在本示例中圖示有三個節(jié)點,但是應(yīng)當(dāng)理解,LSPF集群120可以包括任何數(shù)量的節(jié)點以支持大數(shù)據(jù)集的并行處理。
在操作中,LSPF節(jié)點121-123可以表示由管理員或某其他管理實體發(fā)起以與其他節(jié)點并行處理大量數(shù)據(jù)的真實機或虛擬機。在本示例中,LSPF節(jié)點121-123中的每個節(jié)點可以被配置有諸如Hadoop、Spark、Disco或某其他數(shù)據(jù)處理框架的處理或映射縮減框架。當(dāng)節(jié)點121-123被啟動時,節(jié)點可能需要來自數(shù)據(jù)存儲庫110的用于處理的數(shù)據(jù)。如在計算環(huán)境100中所圖示的,使用與LSPF集群120中的各個節(jié)點使用的分布式文件系統(tǒng)版本不同的分布式文件系統(tǒng)版本來訪問數(shù)據(jù)儲存庫110內(nèi)的數(shù)據(jù)。因此,負(fù)責(zé)收集用于處理的數(shù)據(jù)的數(shù)據(jù)服務(wù)160以各個節(jié)點可接受的形式提供內(nèi)容。
為了進(jìn)一步說明向LSPF集群中的節(jié)點提供數(shù)據(jù),圖2被包括。圖2圖示出了向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的方法200。如圖2所描繪的,方法200包括:從LSPF節(jié)點接收根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求(201)。該方法包括:響應(yīng)于訪問請求,根據(jù)分布式文件系統(tǒng)的不同版本訪問數(shù)據(jù)(203);以及根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點(205)。
如之前圖1中所描述的,可以在LSPF集群內(nèi)啟動一個或更多個LSPF節(jié)點以處理大數(shù)據(jù)集。一旦節(jié)點啟動,節(jié)點可能需要來自諸如數(shù)據(jù)存儲庫110的存儲庫的數(shù)據(jù)。例如,節(jié)點121可以使用第一DFS版本請求數(shù)據(jù)。響應(yīng)于該請求,數(shù)據(jù)服務(wù)160或節(jié)點121與數(shù)據(jù)存儲庫110之間的另一類似進(jìn)程訪問用于節(jié)點121的所請求的數(shù)據(jù)。在本示例中,用于該節(jié)點的分布式文件系統(tǒng)版本與用于訪問數(shù)據(jù)存儲庫110中的數(shù)據(jù)的分布式文件系統(tǒng)版本不相同。因此,提供給該節(jié)點的數(shù)據(jù)需要根據(jù)用于節(jié)點的文件系統(tǒng)版本被呈送或轉(zhuǎn)換。
例如,LSPF節(jié)點121使用第一DFS版本來請求第一數(shù)據(jù)項。響應(yīng)于該請求,數(shù)據(jù)服務(wù)160識別并且根據(jù)第二DFS版本訪問第一數(shù)據(jù)項。一旦根據(jù)第二DFS版本訪問該數(shù)據(jù)項,則根據(jù)第一DFS版本向節(jié)點121提供第一數(shù)據(jù)項。因此,雖然在數(shù)據(jù)存儲庫110中使用不同的DFS版本來存儲和訪問數(shù)據(jù)項,但是數(shù)據(jù)服務(wù)160根據(jù)用于該節(jié)點的DFS版本向該節(jié)點供應(yīng)數(shù)據(jù)項。
返回到計算環(huán)境100的元件,LSPF節(jié)點121-123包括能夠在LSPF集群120中協(xié)作操作的真實計算節(jié)點或虛擬計算節(jié)點。LSPF節(jié)點121-123中的每個節(jié)點可以包括真實或虛擬處理系統(tǒng)、存儲系統(tǒng)、通信接口、用戶接口以及其他計算元件。在LSPF節(jié)點121-123包括虛擬計算節(jié)點的示例中,LSPF節(jié)點121-123可以對一個或更多個主機計算設(shè)備和用于抽象主機的物理組件并將它們提供給虛擬節(jié)點的管理程序進(jìn)行操作,。因此,多個LSPF節(jié)點可以在同一主機上實現(xiàn),從而允許節(jié)點共享主機系統(tǒng)的物理資源。
數(shù)據(jù)服務(wù)160包括能夠?qū)碜詳?shù)據(jù)存儲庫110的數(shù)據(jù)提供給LSPF節(jié)點121-123的一個或更多個計算系統(tǒng)。雖然被圖示為與LSPF節(jié)點121-123分離,但是應(yīng)當(dāng)理解,數(shù)據(jù)服務(wù)160可以完全地或部分地在負(fù)責(zé)LSPF節(jié)點121-123的同一設(shè)備上實現(xiàn)。數(shù)據(jù)服務(wù)160可以包括處理系統(tǒng)、存儲系統(tǒng)、通信接口、用戶接口或任何其他類似的計算元件。
數(shù)據(jù)存儲庫110包括能夠在LSPF集群120中存儲用于處理的數(shù)據(jù)的任何存儲介質(zhì)。數(shù)據(jù)存儲庫110可以包括磁盤驅(qū)動器、固態(tài)驅(qū)動器或任何其他類似的存儲介質(zhì)。在一些示例中,數(shù)據(jù)存儲庫110包括使用各種不同的分布式文件系統(tǒng)版本存儲的各種數(shù)據(jù),諸如Hadoop分布式文件系統(tǒng)版本、Google文件系統(tǒng)版本、Gluster文件系統(tǒng)版本或任何其他分布式文件系統(tǒng)版本(包括其組合)。因此,數(shù)據(jù)服務(wù)160可以用于使用與數(shù)據(jù)存儲庫110中存儲的數(shù)據(jù)所使用的DFS版本不同的DFS版本將內(nèi)容提供給節(jié)點。
轉(zhuǎn)向圖3,圖3圖示出了根據(jù)一個示例的虛擬LSPF集群300。LSPF集群300包括主機301-302和數(shù)據(jù)存儲庫380。主機301-302還包括數(shù)據(jù)服務(wù)360-361和管理程序350-351,管理程序350-351用于操作虛擬機(VM)321-324。VM 321-324進(jìn)一步包括作業(yè)371、Hadoop實例331-334和分布式文件系統(tǒng)(DFS)340。雖然在本示例中圖示出了Hadoop實例,但是應(yīng)當(dāng)理解,可以跨VM 321-324實現(xiàn)任何類似的映射縮減框架或數(shù)據(jù)處理框架。
在操作中,管理程序350-351用于從主機301-302抽象組件,并將組件提供給VM 321-324,這使得VM 321-324能夠作為LSPF集群執(zhí)行。如圖3中所描繪的,VM 321-324包括用于為集群300內(nèi)的作業(yè)371提供映射縮減功能的Hadoop實例331-334。雖然可以使用DFS的替選版本來存儲所請求的數(shù)據(jù),但是Hadoop實例331-334使用DFS340來識別用于在各個節(jié)點中的每個節(jié)點內(nèi)處理的數(shù)據(jù)。
因此,在本示例中,數(shù)據(jù)服務(wù)360-361從VM 321-324接收用于根據(jù)DFS 340的DFS版本訪問數(shù)據(jù)的訪問請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)360-361根據(jù)DFS的第二版本訪問數(shù)據(jù),并且根據(jù)DFS 340的DFS版本將數(shù)據(jù)呈送給VM 321-324。例如,DFS 340可以使用Hadoop DFS的第一版本,然而,要訪問的數(shù)據(jù)可以使用Hadoop DFS的第二版本。因此,在本示例中,數(shù)據(jù)服務(wù)360-361可以充當(dāng)用于訪問數(shù)據(jù)并向VM呈送數(shù)據(jù)的中介。
雖然在之前的示例中圖示出了使用Hadoop文件系統(tǒng)的不同版本,但是應(yīng)當(dāng)理解的是,可以在文件系統(tǒng)的完全不同的版本之間使用類似的操作。例如,LSPF節(jié)點可以使用Hadoop DFS版本來請求數(shù)據(jù),但是數(shù)據(jù)服務(wù)可以使用Google文件系統(tǒng)版本或某其他分布式文件系統(tǒng)版本來訪問數(shù)據(jù)。
轉(zhuǎn)向圖4,圖4圖示出了用于向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的概況。圖4包括數(shù)據(jù)存儲庫410、LSPF集群420和數(shù)據(jù)服務(wù)460。LSPF集群420還包括LSPF節(jié)點421-423,LSPF節(jié)點421-423執(zhí)行第一Hadoop版本實例431-433。數(shù)據(jù)存儲庫410還包括用于存儲數(shù)據(jù)416的第二DFS版本415。
在操作中,管理員或某其他類似的管理進(jìn)程啟動LSPF集群420,以處理存儲在數(shù)據(jù)存儲庫410中的數(shù)據(jù)集。LSPF集群420內(nèi)的LSPF節(jié)點421-423包括使用第一DFS版本訪問數(shù)據(jù)的Hadoop框架的第一版本。然而,如所描繪的,存儲在數(shù)據(jù)存儲庫410中的數(shù)據(jù)是使用第二DFS版本415可訪問的。因此,必須根據(jù)第一DFS版本識別針對數(shù)據(jù)的訪問請求,并且必須使用第二DFS版本來訪問數(shù)據(jù)。
例如,第一Hadoop版本實例431使用分布式文件系統(tǒng)的第一版本發(fā)起數(shù)據(jù)訪問請求。一旦數(shù)據(jù)服務(wù)460接收到訪問請求,數(shù)據(jù)服務(wù)460使用第二DFS版本415來訪問數(shù)據(jù)。在訪問適當(dāng)?shù)臄?shù)據(jù)之后,數(shù)據(jù)服務(wù)460根據(jù)DFS的第一版本將數(shù)據(jù)呈送給LSPF節(jié)點421。因此,雖然LSPF節(jié)點421內(nèi)的文件系統(tǒng)可以根據(jù)第一文件系統(tǒng)版本管理數(shù)據(jù),但是可以根據(jù)文件系統(tǒng)的替選版本將實際數(shù)據(jù)存儲在數(shù)據(jù)存儲庫410內(nèi)。
在一些示例中,數(shù)據(jù)服務(wù)460可以用于向虛擬LSPF節(jié)點供應(yīng)數(shù)據(jù)。這樣,數(shù)據(jù)服務(wù)可以全部或部分地位于主機內(nèi),以向在主機上啟動的虛擬LSPF節(jié)點中的每個節(jié)點供應(yīng)來自數(shù)據(jù)存儲庫的數(shù)據(jù)。例如,驅(qū)動器或某其他進(jìn)程可以位于LSPF節(jié)點中的每個節(jié)點內(nèi)。當(dāng)節(jié)點需要數(shù)據(jù)時,驅(qū)動器可以根據(jù)第一DFS版本識別請求并且向數(shù)據(jù)服務(wù)460通知該請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)460訪問適當(dāng)?shù)臄?shù)據(jù),并且使用第一DFS版本將數(shù)據(jù)提供給LSPF節(jié)點。因此,雖然可以使用第一框架和DFS版本啟動節(jié)點,但是可以使用替選DFS版本來存儲存儲庫內(nèi)的數(shù)據(jù)。
此外,雖然在本示例圖示出了使用第二DFS版本415來訪問數(shù)據(jù),但是應(yīng)當(dāng)理解的是,LSPF節(jié)點可訪問的數(shù)據(jù)存儲庫410或其他數(shù)據(jù)存儲庫和數(shù)據(jù)服務(wù)460可以使用各種不同的DFS版本來存儲數(shù)據(jù)。因此,數(shù)據(jù)服務(wù)460可以負(fù)責(zé)使用第二DFS版本415和任何其他文件系統(tǒng)版本來訪問包括用于由LSPF節(jié)點421-423處理的數(shù)據(jù)的數(shù)據(jù)。
現(xiàn)在參照圖5,圖5圖示出了用于向虛擬LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的概況500。概況500包括數(shù)據(jù)存儲庫510和主機501,主機501還包括VM 521-523。VM 521-523被配置有Hadoop實例531-533以處理作業(yè)571。VM 521-523還包括分布式文件系統(tǒng)(DFS)540以訪問位于數(shù)據(jù)存儲庫510中的數(shù)據(jù)。
在操作中,主機501使用管理程序550來執(zhí)行VM 521-523,以抽象主機501的物理組件并且將組件提供給VM 521-523。管理程序550可以是主機501上的用于呈送具有虛擬操作平臺的VM 521-523內(nèi)的客戶操作系統(tǒng)的軟件、固件或硬件。當(dāng)VM 521-523執(zhí)行時,Hadoop實例531-533處理由數(shù)據(jù)服務(wù)560供應(yīng)的數(shù)據(jù)以完成作業(yè)571。
如圖5中所圖示的,VM 521-523使用分布式文件系統(tǒng)540來管理跨各個虛擬機的數(shù)據(jù)并行處理。當(dāng)諸如Hadoop實例531的Hadoop實例需要數(shù)據(jù)時,發(fā)起根據(jù)與分布式文件系統(tǒng)540相關(guān)聯(lián)的文件系統(tǒng)的版本請求數(shù)據(jù)的訪問請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)560使用分布式文件系統(tǒng)的第二版本來訪問數(shù)據(jù),并且使用文件系統(tǒng)的第一版本將數(shù)據(jù)呈送給VM 521。因此,雖然集群可以以使用分布式文件系統(tǒng)的第一版本的數(shù)據(jù)處理框架的第一版本來啟動,但是集群可以訪問使用數(shù)據(jù)服務(wù)存儲的數(shù)據(jù),以根據(jù)分布式文件系統(tǒng)的第二版本訪問數(shù)據(jù)。
現(xiàn)在參照圖6,圖6圖示出了用于向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的計算系統(tǒng)600。計算系統(tǒng)600是能夠?qū)崿F(xiàn)圖1至圖5中所描述的數(shù)據(jù)服務(wù)的設(shè)備的任何計算系統(tǒng)、設(shè)備或系統(tǒng)的示例。計算系統(tǒng)600包括通信接口601、用戶接口602和處理系統(tǒng)603。處理系統(tǒng)603鏈接至通信接口601和用戶接口602。處理系統(tǒng)603包括處理電路605和存儲設(shè)備606,存儲設(shè)備606存儲操作軟件607。
通信接口601包括通過通信鏈路通信的組件,諸如網(wǎng)卡、端口、RF收發(fā)器、處理電路和軟件、或一些其他通信設(shè)備。通信接口601可以被配置成通過金屬鏈路、無線鏈路或光鏈路進(jìn)行通信。通信接口601可以被配置成使用TDM、IP、以太網(wǎng)、光網(wǎng)絡(luò)、無線協(xié)議、通信信令或一些其他通信格式-(包括其組合)。在一些示例中,通信接口601可以被配置成與LSPF集群內(nèi)的一個或更多個真實機或虛擬機進(jìn)行通信,并且還可以被配置成與存儲庫通信以向真實機或虛擬機提供數(shù)據(jù)。
用戶接口602包括與用戶交互的組件。用戶接口602可以包括鍵盤、顯示屏、鼠標(biāo)、觸摸板或某其他用戶輸入/輸出裝置。在一些示例中可以省略用戶接口602。
處理電路605包括微處理器和從存儲設(shè)備606檢索和執(zhí)行操作軟件607的其他電路。存儲設(shè)備606包括非暫態(tài)存儲介質(zhì),諸如磁盤驅(qū)動器、閃存驅(qū)動器、數(shù)據(jù)存儲電路或某其他存儲裝置。操作軟件607包括計算機程序、固件或某其他形式的機器可讀處理指令。操作軟件607包括接收模塊608、訪問模塊609和呈送模塊610。操作軟件607還可以包括操作系統(tǒng)、實用程序、驅(qū)動器、網(wǎng)絡(luò)接口、應(yīng)用或某其他類型的軟件。當(dāng)由電路605執(zhí)行時,操作軟件607指示處理系統(tǒng)603操作如本文所描述的計算系統(tǒng)600。
特別地,接收模塊608被配置成從LSPF集群中的一個或更多個LSPF節(jié)點接收或識別用于根據(jù)分布式文件系統(tǒng)的第一版本訪問數(shù)據(jù)的訪問請求。響應(yīng)于該請求,訪問模塊609根據(jù)分布式文件系統(tǒng)的第二版本訪問數(shù)據(jù),并且根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的第一版本將數(shù)據(jù)呈送給LSPF節(jié)點。
在一些示例中,可以使用與映射縮減框架相關(guān)聯(lián)的分布式文件系統(tǒng)的特定版本將數(shù)據(jù)存儲在存儲庫中。當(dāng)特征或其他組件被改變以創(chuàng)建映射縮減框架的新版本時,也可以創(chuàng)建分布式文件系統(tǒng)的匹配新版本。因此,當(dāng)映射縮減框架的新版本啟動時,框架可能與文件系統(tǒng)的較舊版本不再匹配,反之亦然。因此,計算系統(tǒng)600可以用于將來自較舊文件系統(tǒng)版本的數(shù)據(jù)呈送給LSPF集群中的較新映射縮減框架版本,或者將來自較新文件系統(tǒng)版本的數(shù)據(jù)呈送給LSPF集群中的較舊映射縮減框架版本。
圖7圖示出了用于向多個LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的概況700。概況700包括數(shù)據(jù)存儲庫710、LSPF集群740-741和數(shù)據(jù)服務(wù)760。數(shù)據(jù)存儲庫710使用第三DFS版本715存儲數(shù)據(jù)716。LSPF集群740包括使用第一DFS版本731發(fā)起訪問請求的LSPF節(jié)點721-722,并且LSPF集群741包括使用第二DFS版本732發(fā)起訪問請求的LSPF節(jié)點721-722。
在操作中,啟動LSPF集群740-741以處理存儲在數(shù)據(jù)存儲庫710中的數(shù)據(jù)。當(dāng)節(jié)點中的每個節(jié)點需要數(shù)據(jù)時,節(jié)點使用存在于節(jié)點中的每個節(jié)點上的本地DFS發(fā)起訪問請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)760根據(jù)用于數(shù)據(jù)存儲的實際DFS版本訪問適當(dāng)?shù)臄?shù)據(jù),并且使用用于該節(jié)點的本地DFS版本將數(shù)據(jù)呈送給LSPF節(jié)點。
例如,LSPF節(jié)點721包括用于訪問處理所需的數(shù)據(jù)的第一DFS版本731。因此,雖然LSPF節(jié)點721可以配置有第一DFS版本,但是可以以DFS的明顯不同的版本存儲需要被訪問的數(shù)據(jù)。如所圖示出的,LSPF節(jié)點721使用文件系統(tǒng)的第一版本731來發(fā)起數(shù)據(jù)訪問請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)760根據(jù)文件系統(tǒng)的第三版本715本來訪問數(shù)據(jù),并且根據(jù)文件系統(tǒng)的第一版本731將數(shù)據(jù)返回給LSPF節(jié)點721。因此,雖然集群740-741使用文件系統(tǒng)的不同版本,但是數(shù)據(jù)服務(wù)760使用文件系統(tǒng)的第三版本提供對數(shù)據(jù)存儲庫710中的數(shù)據(jù)項的訪問。
雖然在本示例中圖示為使用第三DFS版本715來訪問數(shù)據(jù),但是應(yīng)當(dāng)理解的是,數(shù)據(jù)服務(wù)760可以使用各種其他文件系統(tǒng)版本來訪問數(shù)據(jù)。因此,如果使用第四文件系統(tǒng)版本存儲數(shù)據(jù),則數(shù)據(jù)服務(wù)760可以能夠從集群740-741接收數(shù)據(jù)請求,使用第四文件系統(tǒng)版本訪問數(shù)據(jù),并且將數(shù)據(jù)呈送給與用于作出請求的文件系統(tǒng)相關(guān)聯(lián)的LSPF節(jié)點。例如,LSPF節(jié)點721可以使用文件系統(tǒng)的第一版本731來發(fā)起請求。響應(yīng)于該請求,數(shù)據(jù)服務(wù)760將使用文件系統(tǒng)的第四版本來訪問數(shù)據(jù),并且根據(jù)文件系統(tǒng)的第一版本731將數(shù)據(jù)呈送給LSPF節(jié)點721。
在附圖中提供的功能框圖、操作序列和流程圖表示用于執(zhí)行本公開的新穎方面的示例性架構(gòu)、環(huán)境和方法。雖然為了簡化說明的目的,本文包括的方法可以為功能圖、操作序列或流程圖的形式,并且可以被描述為一系列動作,但是應(yīng)當(dāng)理解和明白,這些方法不受動作順序的限制,因為一些動作可以根據(jù)其以不同的順序發(fā)生和/或與本文所示出和所描述的其他動作同時發(fā)生。例如,本領(lǐng)域技術(shù)人員將理解和明白,方法可以替代地表示為諸如狀態(tài)圖中的一系列相關(guān)的狀態(tài)或事件。此外,并非方法中所圖示的所有動作都可以是對于新穎實現(xiàn)方式所必需的。
所包括的描述和附圖描繪了具體實現(xiàn)方式以教示本領(lǐng)域技術(shù)人員如何實現(xiàn)和使用最佳選項。為了教導(dǎo)發(fā)明原理的目的,一些常規(guī)方面被簡化或省略。本領(lǐng)域技術(shù)人員將根據(jù)落在本發(fā)明的范圍內(nèi)的這些實現(xiàn)方式明白變化。本領(lǐng)域技術(shù)人員還將明白,上述特征可以以多種方式組合以形成多個實現(xiàn)。因此,本發(fā)明不限于上述具體實現(xiàn)方式,而是僅由權(quán)利要求及其等同方式限定。