儲(chǔ)數(shù)據(jù)，或以其他方式創(chuàng)建數(shù)據(jù)來(lái)存儲(chǔ)在存儲(chǔ)系統(tǒng)中。
[0019]如步驟2所例示，客戶機(jī)100將作業(yè)提交給調(diào)度器114。盡管在所例示的該示例中，調(diào)度器114被例示為實(shí)現(xiàn)在本地系統(tǒng)102中，但是應(yīng)理解在其他實(shí)施例中，調(diào)度器114可被部分地或完全地實(shí)現(xiàn)在遠(yuǎn)程系統(tǒng)104中。作為對(duì)調(diào)度器114的作業(yè)提交的一部分，用戶或許可以將作業(yè)輸入和作業(yè)操作或計(jì)算指定為作業(yè)元數(shù)據(jù)。調(diào)度器114將把那些作業(yè)輸入數(shù)據(jù)作為資源來(lái)對(duì)待。將輸入數(shù)據(jù)作為作業(yè)資源來(lái)對(duì)待意味著將輸入數(shù)據(jù)作為作業(yè)所需要的資源來(lái)對(duì)待。例如，正如計(jì)算機(jī)硬件可作為執(zhí)行作業(yè)所需的作業(yè)資源來(lái)被對(duì)待一樣，由于作業(yè)需要運(yùn)行該作業(yè)的計(jì)算資源，輸入數(shù)據(jù)可作為該作業(yè)所需的資源來(lái)被對(duì)待。
[0020]當(dāng)調(diào)度器114確定作業(yè)將(或可能)在遠(yuǎn)程系統(tǒng)104中運(yùn)行時(shí)，調(diào)度器114將通過(guò)把數(shù)據(jù)放入在群集數(shù)據(jù)服務(wù)118處的遠(yuǎn)程系統(tǒng)分級(jí)移動(dòng)隊(duì)列116中以供傳輸，來(lái)要求開(kāi)始用于該作業(yè)的數(shù)據(jù)傳輸，如步驟3所例示。值得注意的是，盡管群集數(shù)據(jù)服務(wù)118被例示在本地系統(tǒng)102中，應(yīng)理解在其他實(shí)施例中群集數(shù)據(jù)服務(wù)118可被部分地或完全地實(shí)現(xiàn)在遠(yuǎn)程系統(tǒng)104中。
[0021]作業(yè)可在隊(duì)列116中被優(yōu)先級(jí)化。也就是說(shuō)，作業(yè)不必按照它們被置入隊(duì)列中的順序來(lái)被執(zhí)行。數(shù)據(jù)服務(wù)可選擇作業(yè)被移動(dòng)到遠(yuǎn)程系統(tǒng)104的優(yōu)先級(jí)，以便高效地使用各種資源，包括遠(yuǎn)程系統(tǒng)資源、網(wǎng)絡(luò)帶寬資源等，同時(shí)仍然確保作業(yè)被執(zhí)行來(lái)滿足優(yōu)先級(jí)約束、時(shí)間約束、使用限制等。例如，在某些實(shí)施例中，隊(duì)列116中作業(yè)的優(yōu)先級(jí)可按以下中的一個(gè)或多個(gè)來(lái)決定:作業(yè)被放入隊(duì)列的順序、執(zhí)行作業(yè)的時(shí)間、數(shù)據(jù)傳輸時(shí)間、作業(yè)優(yōu)先級(jí)、遠(yuǎn)程系統(tǒng)資源可用性、網(wǎng)絡(luò)資源可用性、對(duì)作業(yè)優(yōu)先級(jí)的超級(jí)用戶指定等。例如，簡(jiǎn)單地基于相比于其他作業(yè)來(lái)說(shuō)某一作業(yè)已被置于隊(duì)列116中的時(shí)間量來(lái)相對(duì)于其他作業(yè)給予該作業(yè)優(yōu)先級(jí)。當(dāng)遠(yuǎn)程系統(tǒng)資源被較少地利用時(shí)，花長(zhǎng)時(shí)間運(yùn)行的作業(yè)可具有較高的優(yōu)先級(jí)，而當(dāng)遠(yuǎn)程系統(tǒng)資源被更多地利用時(shí)，花長(zhǎng)時(shí)間運(yùn)行的作業(yè)可具有較低的優(yōu)先級(jí)。當(dāng)網(wǎng)絡(luò)使用已經(jīng)高時(shí)，消耗大量網(wǎng)絡(luò)資源來(lái)被分級(jí)移動(dòng)到遠(yuǎn)程系統(tǒng)104的作業(yè)可具有較低的優(yōu)先級(jí)，而當(dāng)網(wǎng)絡(luò)使用較低時(shí)，消耗大量網(wǎng)絡(luò)資源來(lái)被分級(jí)移動(dòng)到遠(yuǎn)程系統(tǒng)104的作業(yè)可具有較高的優(yōu)先級(jí)。基于作業(yè)的重要性或作業(yè)的時(shí)間敏感特性等，可人工地或自動(dòng)地向作業(yè)分配比其他作業(yè)更高的優(yōu)先級(jí)。各種因素可被加權(quán)且可被組合地使用，使得若干因素可被用于確定一作業(yè)相比于隊(duì)列116中的其他作業(yè)的總體優(yōu)先級(jí)。
[0022]群集數(shù)據(jù)服務(wù)118負(fù)責(zé)將隊(duì)列116中的全部數(shù)據(jù)傳輸?shù)竭h(yuǎn)程系統(tǒng)存儲(chǔ)120中。步驟4和5分別例示出數(shù)據(jù)服務(wù)118將數(shù)據(jù)分級(jí)移動(dòng)到遠(yuǎn)程系統(tǒng)104中以及將數(shù)據(jù)上傳到遠(yuǎn)程系統(tǒng)104中。群集數(shù)據(jù)服務(wù)118可處理各種不同種類的數(shù)據(jù)和文件。例如，圖1例示出數(shù)據(jù)可以是數(shù)據(jù)庫(kù)108中的數(shù)據(jù)庫(kù)數(shù)據(jù)、文件共享110中的平面文件數(shù)據(jù)、分布式高速緩存112中的二進(jìn)制數(shù)據(jù)等。如動(dòng)作6處所例示，數(shù)據(jù)分級(jí)移動(dòng)進(jìn)展被回報(bào)給調(diào)度器，使得調(diào)度器114能夠決定如圖1的動(dòng)作7處所例示那樣在遠(yuǎn)程系統(tǒng)104中開(kāi)始運(yùn)行作業(yè)。通過(guò)遠(yuǎn)程系統(tǒng)存儲(chǔ)120中存儲(chǔ)的數(shù)據(jù)被遠(yuǎn)程系統(tǒng)104中運(yùn)行的計(jì)算作業(yè)122消耗以及計(jì)算的結(jié)果被發(fā)送回遠(yuǎn)程系統(tǒng)存儲(chǔ)120，如8和9處所例示，作業(yè)在遠(yuǎn)程系統(tǒng)104中被執(zhí)行。
[0023]當(dāng)作業(yè)完成時(shí)，調(diào)度器114將接收到來(lái)自計(jì)算作業(yè)122的確認(rèn)(如步驟10處所例示)，且調(diào)度器114將告知數(shù)據(jù)服務(wù)118來(lái)收集所有作業(yè)結(jié)果，如步驟11處所例示。數(shù)據(jù)服務(wù)118如步驟12處所例示那樣從遠(yuǎn)程系統(tǒng)存儲(chǔ)120下載結(jié)果，然后如步驟13處所例示那樣將結(jié)果發(fā)送到本地場(chǎng)所存儲(chǔ)106。遠(yuǎn)程系統(tǒng)資源可然后被將來(lái)的作業(yè)解除供應(yīng)或擦除。如所注意到的，將數(shù)據(jù)從本地場(chǎng)所存儲(chǔ)106分級(jí)移動(dòng)到遠(yuǎn)程系統(tǒng)存儲(chǔ)120的數(shù)據(jù)分級(jí)移動(dòng)活動(dòng)是與遠(yuǎn)程系統(tǒng)104處執(zhí)行的群集計(jì)算作業(yè)并行完成的。然而，各實(shí)施例可被實(shí)現(xiàn)成，直到調(diào)度器114確信所有必要的數(shù)據(jù)都準(zhǔn)備好來(lái)分級(jí)移動(dòng)到遠(yuǎn)程系統(tǒng)104用于作業(yè)為止，該作業(yè)才開(kāi)始運(yùn)行，使得沒(méi)有運(yùn)行的作業(yè)正在空閑和等待數(shù)據(jù)。
[0024]以下討論現(xiàn)在涉及可被執(zhí)行的多種方法以及方法動(dòng)作。雖然用特定順序討論或用以特定順序發(fā)生的流程圖例示出了各個(gè)方法動(dòng)作，但除非明確聲明，否則不需要特定順序，或者因?yàn)槟骋粍?dòng)作依賴于另一動(dòng)作在執(zhí)行該動(dòng)作之前完成而需要特定順序。
[0025]現(xiàn)在參考圖2，示出了方法200。可以在聯(lián)網(wǎng)計(jì)算環(huán)境中實(shí)施方法200。該方法200包括用于將數(shù)據(jù)從第一系統(tǒng)移動(dòng)到遠(yuǎn)離第一系統(tǒng)的第二系統(tǒng)以及對(duì)數(shù)據(jù)執(zhí)行計(jì)算的動(dòng)作。該方法200包括從一個(gè)或多個(gè)用戶接收多個(gè)作業(yè)(動(dòng)作202)。該一個(gè)或多個(gè)作業(yè)指定要被操作的數(shù)據(jù)以及在第二系統(tǒng)處要對(duì)數(shù)據(jù)執(zhí)行的操作。
[0026]該方法200還包括在數(shù)據(jù)服務(wù)處，選擇所述多個(gè)作業(yè)中比所述多個(gè)作業(yè)中的其他作業(yè)優(yōu)先上傳到第二系統(tǒng)的一個(gè)作業(yè)(動(dòng)作204)。例如，該方法200可被實(shí)施，其中選擇所述多個(gè)作業(yè)中比所述多個(gè)作業(yè)中的其他作業(yè)優(yōu)先上傳到第二系統(tǒng)的一個(gè)作業(yè)包括基于作業(yè)運(yùn)行時(shí)來(lái)選擇作業(yè)。例如，如果已知某一作業(yè)將花費(fèi)比平均時(shí)間相對(duì)更長(zhǎng)的時(shí)間來(lái)運(yùn)行，當(dāng)?shù)诙到y(tǒng)具有更多的可用資源時(shí)，該作業(yè)可被優(yōu)先化來(lái)上傳。另選地或另外地，該方法200可被實(shí)施，其中選擇所述多個(gè)作業(yè)中比所述多個(gè)作業(yè)中的其他作業(yè)優(yōu)先上傳到第二系統(tǒng)的一個(gè)作業(yè)包括基于作業(yè)被置于隊(duì)列中的順序來(lái)選擇作業(yè)。例如，已在隊(duì)列中相比于其他作業(yè)存在更長(zhǎng)時(shí)間的作業(yè)可相比于其他作業(yè)被優(yōu)先化來(lái)上傳。該方法200可被實(shí)施，其中選擇所述多個(gè)作業(yè)中比所述多個(gè)作業(yè)中的其他作業(yè)優(yōu)先上傳到第二系統(tǒng)的一個(gè)作業(yè)包括基于傳輸來(lái)自作業(yè)的數(shù)據(jù)的時(shí)間來(lái)選擇作業(yè)。該方法200可被實(shí)施，其中選擇所述多個(gè)作業(yè)中比所述多個(gè)作業(yè)中的其他作業(yè)優(yōu)先上傳到第二系統(tǒng)的一個(gè)作業(yè)包括基于第二系統(tǒng)中的資源可用性來(lái)選擇作業(yè)。該方法200可被實(shí)施，其中選擇所述多個(gè)作業(yè)中比所述多個(gè)作業(yè)中的其他作業(yè)優(yōu)先上傳到第二系統(tǒng)的一個(gè)作業(yè)包括基于網(wǎng)絡(luò)可用性來(lái)選擇作業(yè)。
[0027]該方法還包括開(kāi)始上傳優(yōu)先化的作業(yè)，包括分級(jí)移動(dòng)來(lái)自作業(yè)的數(shù)據(jù)(動(dòng)作
206) ο
[0028]在第二系統(tǒng)處，一旦已經(jīng)接收到數(shù)據(jù)的一部分，第二系統(tǒng)中的一服務(wù)就開(kāi)始為所述優(yōu)先化的作業(yè)對(duì)該數(shù)據(jù)執(zhí)行指定的操作。開(kāi)始執(zhí)行指定的操作是在來(lái)自該優(yōu)先化的作業(yè)的全部數(shù)據(jù)都被上傳到第二系統(tǒng)之前執(zhí)行的。準(zhǔn)確地說(shuō)，可在所有數(shù)據(jù)都已到達(dá)之前開(kāi)始操作，且可隨著數(shù)據(jù)繼續(xù)到達(dá)來(lái)繼續(xù)操作。
[0029]方法200可進(jìn)一步包括基于將由該作業(yè)對(duì)數(shù)據(jù)操作的順序來(lái)將來(lái)自作業(yè)的數(shù)據(jù)的額外部分分級(jí)移動(dòng)到第二系統(tǒng)。
[0030]現(xiàn)在參考圖3，示出了方法300?？梢栽诘诙到y(tǒng)計(jì)算環(huán)境中實(shí)施方法300。該方法300包括用于將數(shù)據(jù)從第一系統(tǒng)移動(dòng)到遠(yuǎn)離第一系統(tǒng)的第二系統(tǒng)以及對(duì)數(shù)據(jù)執(zhí)行計(jì)算的動(dòng)作。該方法300包括，在第二系統(tǒng)處從遠(yuǎn)離第二系統(tǒng)的第一系統(tǒng)接收要對(duì)存儲(chǔ)在第一系統(tǒng)處的一組數(shù)據(jù)執(zhí)行的某一作業(yè)的完整描述(動(dòng)作302)。該作業(yè)的描述標(biāo)識(shí)要對(duì)該組數(shù)據(jù)執(zhí)行的計(jì)算。該作業(yè)的描述是優(yōu)先于第二系統(tǒng)從第一系統(tǒng)接收的其他作業(yè)而被接收的。
[0031]該方法300還包括在第二系統(tǒng)處從第一系統(tǒng)接收該組數(shù)據(jù)的一部分(動(dòng)作304)。
[0032]該方法300還包括在第二系統(tǒng)處，一旦該組數(shù)據(jù)的該部分已被接收但在接收到整組數(shù)據(jù)之前，開(kāi)始執(zhí)行所標(biāo)識(shí)的計(jì)算(動(dòng)作306)。
[0033]該方法300還包括在第二系統(tǒng)處在從第一系統(tǒng)接收到該組數(shù)據(jù)的額外部分之后對(duì)該組數(shù)據(jù)的額外部分繼續(xù)執(zhí)行所標(biāo)識(shí)的計(jì)算(動(dòng)作308)。
[0034]該方法300可進(jìn)一步包括在完成全部所標(biāo)識(shí)的計(jì)算之前將所標(biāo)識(shí)的計(jì)算的一些部分的結(jié)果發(fā)送到第一系統(tǒng)。例如，如果對(duì)數(shù)據(jù)的計(jì)算和結(jié)果已在完成所有計(jì)算之前生成，則那些結(jié)果可被發(fā)送回本地系統(tǒng)102。
[0035]該方法300可進(jìn)一步包括在從第一系統(tǒng)接收到完整的該組數(shù)據(jù)之前將所標(biāo)識(shí)的計(jì)算的一些部分的結(jié)果發(fā)送到第一系統(tǒng)。例如，在要對(duì)其進(jìn)行計(jì)算的所有數(shù)據(jù)都被分級(jí)移動(dòng)到遠(yuǎn)程系統(tǒng)104之前，某些結(jié)果或許可能由計(jì)算作業(yè)122計(jì)算。然而，這并不妨礙那些結(jié)果被傳遞回本地系統(tǒng)102。準(zhǔn)確地說(shuō)，當(dāng)結(jié)果準(zhǔn)備好時(shí)，不管作業(yè)的所有計(jì)算是否已完成，這些結(jié)果都可被傳遞。