基于調(diào)度策略的智能數(shù)據(jù)分級移動的制作方法
【專利說明】
【背景技術(shù)】
[0001]計(jì)算機(jī)和計(jì)算系統(tǒng)已經(jīng)影響了現(xiàn)代生活的幾乎每個方面。在工作、休閑、保健、運(yùn)輸、娛樂、家政管理等中通常涉及計(jì)算機(jī)。
[0002]此外，計(jì)算系統(tǒng)功能還可以通過計(jì)算系統(tǒng)經(jīng)由網(wǎng)絡(luò)連接互連到其他計(jì)算系統(tǒng)的能力來增強(qiáng)。網(wǎng)絡(luò)連接可包括，但不僅限于，經(jīng)由有線或無線以太網(wǎng)的連接、蜂窩連接、或者甚至是通過串行、并行、USB或其它連接的計(jì)算機(jī)到計(jì)算機(jī)的連接。這些連接允許計(jì)算系統(tǒng)訪問其他計(jì)算系統(tǒng)處的服務(wù)，并快速且高效地從其他計(jì)算系統(tǒng)接收應(yīng)用數(shù)據(jù)。這些連接還允許云計(jì)算的擴(kuò)散。
[0003]從本地化計(jì)算移動到云計(jì)算已經(jīng)給最終用戶形成了若干挑戰(zhàn)，包括如何、何處以及何時(shí)作為對數(shù)據(jù)執(zhí)行操作的工作流的一部分將數(shù)據(jù)分級移動進(jìn)云和分級移動出云。例如，可能難以確定何時(shí)以及如何將數(shù)據(jù)從本地存儲移動到云、在云處何時(shí)對數(shù)據(jù)操作、以及何時(shí)將數(shù)據(jù)從云移動回本地存儲。
[0004]在此要求保護(hù)的主題不限于解決任何缺點(diǎn)或僅在諸如上述環(huán)境之類的環(huán)境中操作的各個實(shí)施例。準(zhǔn)確地說，提供該背景僅用以例示出在其中可實(shí)踐在此描述的某些實(shí)施例的一個示例性技術(shù)領(lǐng)域。

【發(fā)明內(nèi)容】

[0005]本文所例示的一個實(shí)施例包括可以在云計(jì)算環(huán)境中實(shí)施的方法。該方法包括用于將數(shù)據(jù)從第一系統(tǒng)移動到遠(yuǎn)離所述第一系統(tǒng)的第二系統(tǒng)以及對數(shù)據(jù)執(zhí)行計(jì)算的動作。該方法包括從一個或多個用戶接收多個作業(yè)。該一個或多個作業(yè)指定要被操作的數(shù)據(jù)以及在所述第二系統(tǒng)所述第一系統(tǒng)處要對所述數(shù)據(jù)執(zhí)行的操作兩者。在數(shù)據(jù)服務(wù)處，選擇所述多個作業(yè)中比所述多個作業(yè)中的其他作業(yè)優(yōu)先上傳到所述第二系統(tǒng)的一個作業(yè)。所述方法還包括開始上傳優(yōu)先化的作業(yè)。在第二系統(tǒng)處，一旦已經(jīng)接收到所述數(shù)據(jù)的一部分，所述第二系統(tǒng)中的一服務(wù)就開始為所述優(yōu)先化的作業(yè)對所述數(shù)據(jù)執(zhí)行指定的操作。開始執(zhí)行所述指定的操作是在來自所述優(yōu)先化的作業(yè)的全部數(shù)據(jù)都被上傳到所述第二系統(tǒng)之前執(zhí)行的。
[0006]可以在分布式計(jì)算環(huán)境中實(shí)施另一種方法。該方法包括用于將數(shù)據(jù)從第一系統(tǒng)移動到遠(yuǎn)離所述第一系統(tǒng)的第二系統(tǒng)以及對所述數(shù)據(jù)執(zhí)行計(jì)算的動作。該方法包括，在第二系統(tǒng)從遠(yuǎn)離所述第二系統(tǒng)的第一系統(tǒng)接收要對存儲在所述第一系統(tǒng)處的一組數(shù)據(jù)執(zhí)行的作業(yè)的完整描述。所述作業(yè)的描述標(biāo)識要對該組數(shù)據(jù)執(zhí)行的計(jì)算。所述作業(yè)的描述是優(yōu)先于所述第二系統(tǒng)從所述第一系統(tǒng)接收的其他作業(yè)而被接收的。在所述第二系統(tǒng)處，從所述第一系統(tǒng)接收該組數(shù)據(jù)的一部分。該方法還包括在所述第二系統(tǒng)處，一旦該組數(shù)據(jù)的所述一部分已被接收但在接收到整組數(shù)據(jù)之前，開始執(zhí)行所標(biāo)識的計(jì)算。該方法還包括在所述第二系統(tǒng)處在從第一系統(tǒng)接收到該組數(shù)據(jù)的額外部分之后對該組數(shù)據(jù)的所述額外部分執(zhí)行所標(biāo)識的計(jì)算。
[0007]提供本
【發(fā)明內(nèi)容】
以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本
【發(fā)明內(nèi)容】
并非旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。
[0008]額外的特征和優(yōu)點(diǎn)將在以下的描述中闡述，并且部分可從該描述中顯而易見，或者可以通過對本文的教示的實(shí)踐中習(xí)得。本發(fā)明的特征和優(yōu)點(diǎn)可以通過在所附權(quán)利要求中特別指出的手段和組合來實(shí)現(xiàn)和獲得。本發(fā)明的特征將從以下描述和所附權(quán)利要求中變得完全顯而易見，或者可通過如下所述對本發(fā)明的實(shí)踐而獲知。
【附圖說明】
[0009]為了描述可獲得上述和其它優(yōu)點(diǎn)和特征的方式，將通過參考附圖中所例示出的具體實(shí)施例來呈現(xiàn)以上簡要描述的本主題的更具體的描述。應(yīng)該理解，這些附圖僅描繪了各典型實(shí)施例，因此不應(yīng)被認(rèn)為是對范圍的限制，各實(shí)施例將通過使用附圖用附加特征和細(xì)節(jié)來被描述并解釋，在附圖中:
[0010]圖1例示出第一和第二系統(tǒng)，在該示例中第一和第二系統(tǒng)包括本地系統(tǒng)和遠(yuǎn)離本地系統(tǒng)的“云”系統(tǒng)，以及用于將作業(yè)從本地場所系統(tǒng)發(fā)送到云系統(tǒng)的系統(tǒng)。
[0011]圖2從第一系統(tǒng)的角度例示出用于將數(shù)據(jù)從第一系統(tǒng)移動到第二系統(tǒng)的方法。
[0012]圖3從第二系統(tǒng)的角度例示出用于將數(shù)據(jù)從第一系統(tǒng)移動到第二系統(tǒng)的方法。
【具體實(shí)施方式】
[0013]以前，系統(tǒng)已被配置成將數(shù)據(jù)分級移動(data staging)(借此將數(shù)據(jù)從第一系統(tǒng)移動到第二系統(tǒng)(如數(shù)據(jù)中心系統(tǒng)))以及第二系統(tǒng)內(nèi)的計(jì)算(借此在數(shù)據(jù)上執(zhí)行操作)作為兩個分開的活動來處理，并相應(yīng)地對它們進(jìn)行管理。例如，數(shù)據(jù)可從本地系統(tǒng)被移動到遠(yuǎn)程系統(tǒng)(如所謂的基于“云”的系統(tǒng))，其中計(jì)算將在遠(yuǎn)程系統(tǒng)處對數(shù)據(jù)執(zhí)行。如本文所使用的，本地和遠(yuǎn)程被用于區(qū)分兩個系統(tǒng)以及在彼此的邏輯或物理上的接近程度方面指示出某一距離。在某些示例中，本地系統(tǒng)可對于最終用戶來說是本地的，但是這并非是絕對要求。例如，本地可僅僅指代系統(tǒng)是某一企業(yè)本地的且由該企業(yè)所擁有的，而遠(yuǎn)程系統(tǒng)可以是僅由該企業(yè)與其他企業(yè)共享的系統(tǒng)。
[0014]忽略對數(shù)據(jù)的計(jì)算與數(shù)據(jù)輸入和輸出相關(guān)這一事實(shí)引起遠(yuǎn)程系統(tǒng)資源的低效。本文所描述的某些實(shí)施例通過將遠(yuǎn)程系統(tǒng)處的計(jì)算與從本地系統(tǒng)到遠(yuǎn)程系統(tǒng)的數(shù)據(jù)分級移動相組合來解決這些低效，其中遠(yuǎn)程系統(tǒng)遠(yuǎn)離本地系統(tǒng)。例如，一旦來自本地存儲的數(shù)據(jù)已開始被分級移動到遠(yuǎn)程系統(tǒng)，就可對數(shù)據(jù)開始計(jì)算。具體來說，一旦數(shù)據(jù)的一小部分已被移動到遠(yuǎn)程系統(tǒng)，即使整個數(shù)據(jù)集還未被分級移動到遠(yuǎn)程系統(tǒng)，計(jì)算工作流也可開始。此外，各實(shí)施例可被配置成使得如果有多個計(jì)算被用戶置于作業(yè)隊(duì)列中，數(shù)據(jù)服務(wù)可選擇作業(yè)被移動到遠(yuǎn)程系統(tǒng)的優(yōu)先級，以便高效地使用各種資源，包括本地系統(tǒng)資源、遠(yuǎn)程系統(tǒng)資源、網(wǎng)絡(luò)帶寬資源等，同時(shí)仍然確保作業(yè)被執(zhí)行以滿足優(yōu)先級約束、時(shí)間約束、使用限制等。此夕卜，在某一給定作業(yè)內(nèi)，計(jì)算是對一給定數(shù)據(jù)集執(zhí)行的?？墒乖摂?shù)據(jù)集的不同部分優(yōu)先于該數(shù)據(jù)集的其他部分來分級移動，以便在遠(yuǎn)程系統(tǒng)處高效地執(zhí)行操作。
[0015]由于每次計(jì)算迭代僅要求其部分輸入數(shù)據(jù)來開始，且其輸出不依賴于其他迭代來完成，就可能在對其他迭代的輸入數(shù)據(jù)被傳送的同時(shí)開始各迭代。同樣，輸出數(shù)據(jù)可被傳送回本地系統(tǒng)，同時(shí)其他迭代仍然在進(jìn)行。
[0016]如所注意到的，本文所述的某些實(shí)施例將把數(shù)據(jù)分級移動到遠(yuǎn)程系統(tǒng)的活動實(shí)現(xiàn)為對遠(yuǎn)程系統(tǒng)工作流的群集突發(fā)(cluster burst)的一部分。通過使數(shù)據(jù)成為頭等公民，在實(shí)現(xiàn)調(diào)度算法時(shí)，群集將把數(shù)據(jù)作為作業(yè)資源。這是有好處的，因?yàn)檎{(diào)度器知曉作業(yè)的數(shù)據(jù)依賴性，以及可連同運(yùn)行作業(yè)來改編數(shù)據(jù)分級移動。從而，數(shù)據(jù)的一部分可被分級移動到遠(yuǎn)程系統(tǒng)。可在數(shù)據(jù)的用于該作業(yè)的其他部分仍然在本地系統(tǒng)處的同時(shí)，對數(shù)據(jù)開始操作。只要調(diào)度器知曉數(shù)據(jù)依賴性且能夠在合適的時(shí)間按需將數(shù)據(jù)分級移動到遠(yuǎn)程系統(tǒng)，數(shù)據(jù)的剩余部分就可被按需分級移動到遠(yuǎn)程系統(tǒng)。此外，基于作業(yè)運(yùn)行時(shí)間、優(yōu)先級、隊(duì)列中的位置以及數(shù)據(jù)大小，作業(yè)和數(shù)據(jù)可被分級移動到遠(yuǎn)程系統(tǒng)。這可產(chǎn)生對遠(yuǎn)程系統(tǒng)和網(wǎng)絡(luò)資源的有效得多的使用，并減少作業(yè)周轉(zhuǎn)周期。此外，這可能是有好處的，因?yàn)檎{(diào)度器中的數(shù)據(jù)服務(wù)可為用戶處理數(shù)據(jù)移動，確保在作業(yè)執(zhí)行之前和之后數(shù)據(jù)在正確的位置，以及清理未使用的遠(yuǎn)程系統(tǒng)存儲。這可明顯使用戶免于管理數(shù)據(jù)生命周期的許多任務(wù)。
[0017]現(xiàn)在例示出附加細(xì)節(jié)，且參考圖1，例示出一示例。圖1例示出本地系統(tǒng)102和遠(yuǎn)程系統(tǒng)104，后者在某些實(shí)施例中可以是所謂的基于“云計(jì)算”的系統(tǒng)。在本說明書中，“云計(jì)算”可以是用于允許對可配置的計(jì)算資源(如網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用、以及服務(wù))的共享池進(jìn)行無處不在的、方便的、按需的網(wǎng)絡(luò)訪問的系統(tǒng)或資源，這些計(jì)算資源可用減少的管理努力或服務(wù)提供者交互來被供應(yīng)和釋放。云模型可由各種特性(如按需自服務(wù)、廣泛網(wǎng)絡(luò)訪問、資源池、快速靈活性、可計(jì)量的服務(wù)等)、服務(wù)模型(如軟件即服務(wù)(SaaS)、平臺即服務(wù)(PaaS)、基礎(chǔ)結(jié)構(gòu)即服務(wù)(IaaS))以及部署模型(如私有云、社區(qū)云、公共云、混合云等)組成。
[0018]如步驟I所例示，客戶機(jī)100在本地系統(tǒng)102處的本地存儲106中準(zhǔn)備數(shù)據(jù)。在所例示的該示例中，本地存儲可包括例如數(shù)據(jù)庫108、文件共享110、分布式高速緩存112等。在本地系統(tǒng)102的本地存儲106中準(zhǔn)備數(shù)據(jù)可包括例如生成和存